Maven编译Spark源码总结

1 通过Git下载Spark源码

git clone https://github.com/apache/spark.git[/code] 
2 切换Spark源码分支
git branch -a


git checkout v1.6.3


（或者直接下载对应分支的Spark源代码），确保要有make-distribution.sh文件

3 修改 make-distribution.sh 文件
MVN="/home/hjr/Maven/apache-maven-3.3.9/bin/mvn"
或
MVN="$MAVEN_HOME/bin/mvn"


将项目编译所要使用的Maven设置为自己安装的Maven路径

4 确保Java和Scala已安装
最好是查询一下软件的版本对应

5 修改Spark源码工程的 pom.xml 文件
<name>Maven Repository</name>

<!--<url>https://repo1.maven.org/maven2</url>-->
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>

<releases>
<enabled>true</enabled>
</releases>


将Maven Repository换成国内阿里云的仓库

6 编译
build/mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.5 -DskipTests clean package




另附其他版本的编译



Spark 2.2.0 编译成功



7 将编译好的源码导入到IDEA里面