[CDH--安装]--关于Spark版本的支持
2017-09-28 16:16
232 查看
原文:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
Spark 2要求
以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。
继续阅读:
· CDH版本
· Cloudera
Manager版本
· Scala
2.11要求
· JDK
8要求
CDH版本
CDH的适用版本如下所述。
Cloudera的Hive兼容性问题Apache Spark 2.0发行版1的分发会影响CDH 5.10.1及更高版本,CDH 5.9.2及更高版本,CDH 5.8.5及更高版本以及CDH 5.7.6及更高版本。
如果您正在使用这些CDH版本之一,则必须升级到Spark 2.0版本2或更高的宗地,以避免在使用Hive功能时出现Spark 2作业失败。
Spark 1.6服务可以与Spark 2在同一个集群上共存。这两个服务配置为不冲突并在同一个YARN集群上运行。
如果Spark 1已安装,Spark 2将使用CDH安装中的外部随机播放服务,如有必要,则安装随机播放服务。
由单个ClouderaManager实例管理的所有CDH群集必须使用完全相同的Spark2版本。
确保同时在所有集群的所有计算机上安装或升级CSD和包裹。
Cloudera Manager版本
Cloudera Managerfor Spark 2的适用版本如下所述。
Scala 2.11要求
Spark 2不适用于Scala 2.10。仅使用Scala 2.11。
JDK 8要求
Cloudera发行版Apache Spark 2.2需要JDK 8。
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
Spark 2要求
以下部分介绍了Apache Spark 2的Cloudera Distribution的软件需求。
继续阅读:
· CDH版本
· Cloudera
Manager版本
· Scala
2.11要求
· JDK
8要求
CDH版本
CDH的适用版本如下所述。
Cloudera的Hive兼容性问题Apache Spark 2.0发行版1的分发会影响CDH 5.10.1及更高版本,CDH 5.9.2及更高版本,CDH 5.8.5及更高版本以及CDH 5.7.6及更高版本。
如果您正在使用这些CDH版本之一,则必须升级到Spark 2.0版本2或更高的宗地,以避免在使用Hive功能时出现Spark 2作业失败。
Cloudera分发的Apache Spark 2版本 | CDH版本 |
2.2版本1 | CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11,CDH 5.12 |
2.1版本1 | CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10,CDH 5.11 |
2.0版本2 | CDH 5.7,CDH 5.8,CDH 5.9,CDH 5.10 |
2.0版本1 | CDH 5.7高达5.7.5,CDH 5.8高达5.8.4,CDH 5.9高达5.9.1,CDH 5.10.0。任何这些CDH版本中的任何更高维护版本都需要Spark 2.0 Release 2。 |
如果Spark 1已安装,Spark 2将使用CDH安装中的外部随机播放服务,如有必要,则安装随机播放服务。
由单个ClouderaManager实例管理的所有CDH群集必须使用完全相同的Spark2版本。
确保同时在所有集群的所有计算机上安装或升级CSD和包裹。
Cloudera Manager版本
Cloudera Managerfor Spark 2的适用版本如下所述。
Cloudera分发的Apache Spark 2版本 | Cloudera Manager版本 |
2.2版本1 | Cloudera Manager 5.8.3,5.9及更高版本 |
2.1版本1 | Cloudera Manager 5.8.3,5.9及更高版本 |
2.0版本2 | Cloudera Manager 5.8.3,5.9及更高版本 |
2.0版本1 | Cloudera Manager 5.8.3,5.9及更高版本 |
Spark 2不适用于Scala 2.10。仅使用Scala 2.11。
JDK 8要求
Cloudera发行版Apache Spark 2.2需要JDK 8。
相关文章推荐
- 关于所使用的spark版本中的spark sql不支持exists和in等子查询语句的解决方案记录
- 关于MAC安装windows【支持老版本】 支持安装全系列windows
- [CDH--安装]--CDH5和Cloudera Manager 5要求和支持的版本
- 在ubuntu的kde桌面版本中安装中文支持
- 延云 YDB版本v1.0.5-beta版本上线(支持hive与spark查询) 2015-12-28 13:13 阅读(0)
- CDH版本kudu kudu-impala安装教程
- Hadoop-CDH5.11.0版本安装-双节点完整版
- 关于在centos下安装python3.7.0以上版本时报错ModuleNotFoundError: No module named '_ctypes'的解决办法
- 安装SCOM2012在连接数据库时报错:" SQL Server 的安装版本不受支持"
- cdh 安装 spark 2.1
- 关于Tomcat的点点滴滴(体系架构、处理http请求的过程、安装和配置、目录结构、设置压缩和对中文文件名的支持、以及Catalina这个名字的由来……等)
- Ubuntu系统下安装Skype 4.2版本(支持微软账户)
- 关于centos7中使用rpm方式安装mysql5.7版本后无法使用root登录的问题
- Ubuntu停止支持版本使用apt-get在线源安装软件的办法
- Spark/Shark/Hadoop1安装部署文档总结(Hadoop2同理,只需要换成Spark的Hadoop2版本即可)
- CDH5 安装需求和相关软件支持的版本信息
- spark远程debug之调试spark on yarn 程序(基于CDH平台,1.6.0版本)
- 关于robocup3d在linux上的安装//详细信息http://simspark.sourceforge.net/wiki/index.php/Installation_on_Linux#Opti
- Mac OS X版本的sublime text 3安装汇编语言语法支持
- CDH5.11 离线安装或者升级spark2.x详细步骤