本文摘要:成为摆在企业面前的难题。

成为摆在企业面前的难题。大数据平台产生了企业这种市场需求,不断发展创造力。青云QingCloud,于2015年,于2015年于Spark的大数据集群服务,同年12月推出Hadoop集群服务作为大数据基础平台的有力补充,满足企业在大数据领域的不同市场需求。

但是,由于Spark和Hadoop作为两个独立国家的服务,用户在同时使用这两种处理引擎时,必须配置两套HDFS,必须读取和保管完全相同的数据,成本和效率都不是最差的自由选择。从数据统一管理的角度到达,青云QingCloud发售SparkMR,QingCloud通过QinCloud,通过云应用程序交付给用户,对原大数据平台的支持Spark和Hadoop服务进行了全面的统一和升级。目前,SparkMR反对Apache,Hadoop2.7.3,ApacheSpark2.0。

Spark和Hadoop两者融合后,成本不会明显减少。同时,比较原来的大数据平台,获得更丰富、更灵活的附加装备,用户可以分角色自定义节点装备(CPU2~116核附加、内存2~64GB选项)。SparkMR、QingCloud作为支持新双引擎大数据平台的最重要组成部分,SparkMR在基础上获得统一的HDFS作为数据存储引擎,在上层获得Spark和MapReduce两种计算引擎,获得YYARN。

用户可以构建三种不同的计算模式,即Spark。Standalon,YARN,MapRduce,YARN三者之间的转换。计算能力:SparkMR为了方便用户开发Spark应用程序,除了对Java和Scala进行研究开发之外,还获得了Python和rt两种语言的运营环境。其中是Python,用户获得了AnacondaLinux的Python2和Python3,反对在这两个Python版之间进行转换。

同时,为这两个Python版本预订了多个AnacondaLinux的数据科学包,为数据科学和机械学习/深度自学等AI研发场景获得了强大的计算能力支持。构建能力:SparkMR反对登录依赖服务的功能,通过AppCenter2.0框架内本地应用于感觉机制,构建与其他大数据分析组件之间自动化的无缝构建。SparkMR和QingStor对象存储平台也开展了预设构建,用户可以通过非常简单的配置打开对QingStor对象存储的反对,应对大据的存储问题。调度战略:SparkMR获得Spark、YARN的自定义调度机功能,用户可以根据自己的实际市场需求自定义集团内的资源调度战略,表现用户在多租户的场景下更加细致的管理能力。

服务定制:SparkMR通过控制器获得近60个配置参数,用户可以通过控制器的UI操作者完成集团配置和服务个性化定制。例如,用户可以通过UI完成Hadoop代理用户的功能。SparkMR的Client(客户端)节点也构筑了基本的自动化装备,用户需要分别设立BigDataClient或SparkClient。

这意味着用户在控制器完成配置和服务定制后,配置完成时,可以继续计算任务,确实构建了单击配置和立即使用。服务监视:SparkMR获得完整的服务水平角色监视能力,用户不仅可以看到通常的资源层监视,还可以通过可视化的方式明确理解整体服务的运营状况。同时根据服务监控,还获得了监控监控、体检和服务自动完全恢复等功能。

原始文章允许禁止发布。下一篇文章发表了注意事项。

本文关键词:鸭脖手机版,鸭脖手机版登录

本文来源:鸭脖手机版-www.jeekegame.com

相关文章