您的位置：首页 > 其它

Spark编译

2016-03-20 10:26 337 查看

Spark安装部署

–官网选择版本，下载后用maven编译

- Spark版本：1.3.0

- Hadoop版本：2.6.0-cdh5.4.0

- JDK版本：1.7

- Maven版本：3.0.5

- Scala版本：2.10.4

一：安装JDK和Maven


项目	方式	配置	检测
JDK	解压即可	环境变量	java -version
Maven	解压即可	环境变量	mvn -version
Scala	解压即可	环境变量	scala -version

一：编译Spark

-Spark官方编译说明：http://spark.apache.org/docs/latest/building-spark.html

-编译Spark需要需要使用jdk1.6+和Maven3.0.4+版本

##配置域名解析服务器
# vi /etc/resolv.conf
nameserver 8.8.8.8
nameserver 8.8.4.4
##设置Maven镜像
# cd .m2/
#more seting.xml
<mirror>
<id>nexus-osc</id>
<mirrorOf>*</mirrorOf>
<name>Nexus osc</name>
<url>http://maven.oschina.net/content/groups/public/</url>
</mirror>

##设定下Maven编译内存:
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
##编译命令 需要很久很久，因为make-distribution.sh
(spark文件内的一个maven编译脚本)检测版本。
./make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.4  -Dhadoop.version=2.6.0-cdh5.4.0 -Phive-0.13.1 -Phive-thriftserver -Pyarn

###不想等的，可以手动配置make-distribution.sh检测的版本。
vi make-distribution.sh
##大约128行起，138末
#注释VERSION,SPARK_HADOOP_VERSION,SPARK_HIVE行
#手动添加:
VERSION=1.3.0
SPARK_HADOOP_VERSION=2.6.0-cdh5.4.2
SPARK_HIVE=1
#(SPARK_HIVE : 1表示需要将hive打包进去，非1表示不打包hive)

##再次编译执行命令，会检测到jdk版本异常，不需要理会。y

##如果编译异常，多编译几次试试。。

##编译时间大概需要3-6小时。

##编译完成产生：spark-1.3.0-bin-2.6.0-cdh5.4.0.tgz

内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理

标签：

相关文章推荐

新的分享

章节导航