您的位置:首页 > 运维架构 > Linux

Linux64位操作系统(CentOS6.6)上如何编译spark1.3

2015-07-28 13:48 567 查看
1.在官网下载1.3.0源码后执行如下命令:
./make-distribution.sh --tgz --skip-java-test --with-tachyon -Dhadoop.version=2.4.0 -Djava.version=1.7 -Dprotobuf.version=2.5.0 -Pyarn -Phive -Phive-thriftserver
2.参数说明:--tgz 生成部署包;

--skip-java-test 滤过测试阶段;

--with-tachyon 感觉tachyon是趋势,所以加上tachyon的支持;

-Dhadoop.version 指定hadoop的版本,默认为1.0.4;

-Djava.version 指定java版本,默认是1.6;

-Dprotobuf.version 指定protobuf的版本,默认是2.4.1;这里指定是因为hadoop使用的2.5.0,不修改的话搭配的时候会出问题;

-Pyarn -Phive -Pthriftserver 分别加入yarn、hive的支持。

3.一个多小时后出现BUILD SUCCESS,即编译成功,可在spark-1.3.0文件夹中找到编译的文件。本文出自 “Levy” 博客,请务必保留此出处http://liyong0802.blog.51cto.com/2574432/1679137
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: