Linux64位操作系统(CentOS6.6)上如何编译spark1.3
2015-07-28 13:48
567 查看
1.在官网下载1.3.0源码后执行如下命令:
--skip-java-test 滤过测试阶段;
--with-tachyon 感觉tachyon是趋势,所以加上tachyon的支持;
-Dhadoop.version 指定hadoop的版本,默认为1.0.4;
-Djava.version 指定java版本,默认是1.6;
-Dprotobuf.version 指定protobuf的版本,默认是2.4.1;这里指定是因为hadoop使用的2.5.0,不修改的话搭配的时候会出问题;
-Pyarn -Phive -Pthriftserver 分别加入yarn、hive的支持。
3.一个多小时后出现BUILD SUCCESS,即编译成功,可在spark-1.3.0文件夹中找到编译的文件。本文出自 “Levy” 博客,请务必保留此出处http://liyong0802.blog.51cto.com/2574432/1679137
./make-distribution.sh --tgz --skip-java-test --with-tachyon -Dhadoop.version=2.4.0 -Djava.version=1.7 -Dprotobuf.version=2.5.0 -Pyarn -Phive -Phive-thriftserver2.参数说明:--tgz 生成部署包;
--skip-java-test 滤过测试阶段;
--with-tachyon 感觉tachyon是趋势,所以加上tachyon的支持;
-Dhadoop.version 指定hadoop的版本,默认为1.0.4;
-Djava.version 指定java版本,默认是1.6;
-Dprotobuf.version 指定protobuf的版本,默认是2.4.1;这里指定是因为hadoop使用的2.5.0,不修改的话搭配的时候会出问题;
-Pyarn -Phive -Pthriftserver 分别加入yarn、hive的支持。
3.一个多小时后出现BUILD SUCCESS,即编译成功,可在spark-1.3.0文件夹中找到编译的文件。本文出自 “Levy” 博客,请务必保留此出处http://liyong0802.blog.51cto.com/2574432/1679137
相关文章推荐
- 克隆的CentOS网卡物理地址错误问题!
- linux 查看进程的命令2(ps)
- linux driver 简单实例
- Linux中fork()函数详解
- Linux如何查看进程、杀死进程、启动进程等常用命令
- win7访问Linux Samba的共享目录提示“登录失败:用户名或密码错误”解决方法
- Linux64位操作系统(CentOS6.6)上如何编译hadoop2.4.0
- Vm Linux路由拦截上网PC的目标地址
- 在 Linux 中安装 Google 环聊桌面客户端
- Linux ftp 使用
- linux安全登录之sudo命令
- 多文件makefile
- linux编译安装php5.4遇到错误:undefined reference to `libiconv_open'
- linux源码编译安装php5.4.43报错Directive 'allow_call_time_pass_reference' warning
- Linux常用命令之tar/gzip/gunzip
- CentOS7的安装、配置
- Linux常用命令大全
- 安装linux服务器
- Linux下Nagios的安装与配置
- 查看linux是多少位的