yarn 0.9.0 build spark
2014-02-21 09:36
267 查看
1. 下载scala并安装。版本为2.10.3。设置SCALA_HOME和PATH环境变量
2. 下载SPARK 0.9.0源代码并解压到/root/Downloads/spark-0.9.0-incubating
http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating.tgz
注意,也可以下载已经编译好的包。见:
http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2.tgz
但我们这里向研究一下代码的编译过程,所以直接下载源代码版本
3.到/root/Downloads/spark-0.9.0-incubating下运行./sbt/sbt assembly
在运行过程中出现一些问题,主要是maven repository和git的proxy的问题。主要是由于公司内外设置的原因。还有就是git协议识别的问题,可以收到将git clone git://xxx.yyy.zzz/mmm/nnn.git改为git clone http://xxx.yyy.zzz/mmm/nnn.git手动的执行以下,把需要的东西下载下来。再次运行即可
运行结束后在assembly/target/scala-2.10和example/target/scala-2.10/目录下分布有spark-assembly-0.9.0-incubating-hadoop2.2.0.jar和spark-examples-assembly-0.9.0-incubating.jar。
4.也可以用MAVE build.首先修改maven的环境变量
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
然后运行maven命令:
mvn -Pyarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTests clean package
2. 下载SPARK 0.9.0源代码并解压到/root/Downloads/spark-0.9.0-incubating
http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating.tgz
注意,也可以下载已经编译好的包。见:
http://www.apache.org/dyn/closer.cgi/incubator/spark/spark-0.9.0-incubating/spark-0.9.0-incubating-bin-hadoop2.tgz
但我们这里向研究一下代码的编译过程,所以直接下载源代码版本
3.到/root/Downloads/spark-0.9.0-incubating下运行./sbt/sbt assembly
在运行过程中出现一些问题,主要是maven repository和git的proxy的问题。主要是由于公司内外设置的原因。还有就是git协议识别的问题,可以收到将git clone git://xxx.yyy.zzz/mmm/nnn.git改为git clone http://xxx.yyy.zzz/mmm/nnn.git手动的执行以下,把需要的东西下载下来。再次运行即可
运行结束后在assembly/target/scala-2.10和example/target/scala-2.10/目录下分布有spark-assembly-0.9.0-incubating-hadoop2.2.0.jar和spark-examples-assembly-0.9.0-incubating.jar。
4.也可以用MAVE build.首先修改maven的环境变量
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
然后运行maven命令:
mvn -Pyarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTests clean package
相关文章推荐
- 在standalone模式下运行yarn 0.9.0对HDFS上的数据进行计算
- 在 Yarn 上 安装 Spark 0.9.0
- HDP 2.2 ( Hadoop 2.6 ) 集群的内存参数配置和参数调优 (Yarn/MapReduce2)
- 扩展Yarn资源模型详解1
- 【Flink】Flink集群部署与YARN集成
- nodejs、yarn编译安装
- 一起学Spark(2)-- Spark组件与YARN 集群运行
- DevOps入门(二)包管理工具yarn与npm对比
- 使用yarn 或者npm全局安装一个命令后无法生效的情况
- Yarn(四)Yarn运行流程
- YARN的环境搭建
- Yarn标签调度实验
- Ambari—YARN配置ResourceManager HA(二)
- spark on yarn 报错
- 资源管理(大数据):Zookeeper、 Yarn简介、原理
- Hadoop伪分布式安装(MapReduce+Yarn)
- Yarn 调度器Scheduler详解
- Hadoop Yarn调度器的选择和使用
- 基础平台管理系统(FrameWork) 0.9.0 Beta (开源项目)
- reSiprocate 0.9.0-5019版本学习