hadoop-2.2.0的环境下对 spark-1.3.1 的编译

本次安装环境为Ubuntu-14.04，hadoop环境为2.2.0

1.使用的是mvn进行编译，所以首先需要安装好maven

 使用mvn命令查看 maven是否安装，没有安装的话，请自行百度：ubuntu  maven安装



2.去官网下载相应的源码包：



我下载的是1.3.1版本的源码，如果不想自己编译，也可以选择和你本机hadoop对应版本的spark预编译版本。

3.解压 spark压缩包：

tar -xzvf  spark-1.3.1

4.进入到解压后的spark1.3.1的文件夹中

5.在终端输入：

build/mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package

其中 -Pyarn -Phadoop-2.2 ：指明了Yarn的版本为2.2

    -Dhadoop.version=2.2.0：指明了HDFS的版本为 2.2.0

如果不需要使用HDFS只需要使用本地的文件系统，则可以将对应的部分给删除，同理，如果不需要使用YARN进行资源的分配，则可以将相应的部分删除，也就是standalone模式。

官方也提供了使用scala-2.11进行源码的编译，但是在当前版本对scala-2.11的支持还不是很好，有些依赖没有完善，所以官方不推荐使用scala-2.11进行源码的编译，如果一定想用2.11进行编译，则可以在以上命令的基础加上：

-Dscala-2.11

6.开始漫长的等待，开始下载对应的包：



可以看到，我下载的速度还是非常慢的，要等一段时间啊







。

下载的东西真不少，我在宿舍的小水管，差不多下载了1个多小时好像才下载完

终于在编译中了：好兴奋，现在都是凌晨2点了，好困



编译的时候也花费了很长的时间，如果出现一下全部success的输出，则代表编译成功，虽然在编译的过程中会出现很多warn的情况，但是只要不出现error都是没有问题的。



编译完成以后我们可以在

$SPARK_HOME/assembly/target/scala-2.10目录下找到  spark-assembly-1.3.1-hadoop2.2.0.jar  这个就是我们编译完成的jar包，其中是由scala-2.10 编译完成的。

下面将会做一个spark的安装教程