您的位置:首页 > 其它

[CDH--安装]--关于Spark版本的支持

2017-09-28 16:16 232 查看
原文:

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html

Spark 2要求
以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。
继续阅读:
·        CDH版本
·        Cloudera
Manager版本
·        Scala
2.11要求
·        JDK
8要求
CDH版本
CDH的适用版本如下所述。
Cloudera的Hive兼容性问题Apache Spark 2.0发行版1的分发会影响CDH 5.10.1及更高版本,CDH 5.9.2及更高版本,CDH 5.8.5及更高版本以及CDH 5.7.6及更高版本。
如果您正在使用这些CDH版本之一,则必须升级到Spark 2.0版本2或更高的宗地,以避免在使用Hive功能时出现Spark 2作业失败。
Cloudera分发的Apache Spark 2版本
    CDH版本
2.2版本1
CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11,CDH 5.12
2.1版本1
CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11
2.0版本2
CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10
2.0版本1
CDH 5.7高达5.7.5,CDH 5.8高达5.8.4,CDH 5.9高达5.9.1,CDH 5.10.0。任何这些CDH版本中的任何更高维护版本都需要Spark 2.0 Release 2。
Spark 1.6服务可以与Spark 2在同一个集群上共存。这两个服务配置为不冲突并在同一个YARN集群上运行。
如果Spark 1已安装,Spark 2将使用CDH安装中的外部随机播放服务,如有必要,则安装随机播放服务。
由单个ClouderaManager实例管理的所有CDH群集必须使用完全相同的Spark2版本。
确保同时在所有集群的所有计算机上安装或升级CSD和包裹。

Cloudera Manager版本
Cloudera Managerfor Spark 2的适用版本如下所述。
Cloudera分发的Apache Spark 2版本
Cloudera Manager版本
2.2版本1
Cloudera Manager 5.8.3,5.9及更高版本
2.1版本1
Cloudera Manager 5.8.3,5.9及更高版本
2.0版本2
Cloudera Manager 5.8.3,5.9及更高版本
2.0版本1
Cloudera Manager 5.8.3,5.9及更高版本
Scala 2.11要求
Spark 2不适用于Scala 2.10。仅使用Scala 2.11。
JDK 8要求
Cloudera发行版Apache Spark 2.2需要JDK 8。
 



内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐