windows Spark 2.4 通过mvn源码编译

网上很多Spark 源码编译是1.x的，现在主要版本已经是2.3了，在学习过程中想对Spark源码学习，所以就进行了2.4版本的源码编译。在这个过程中也遇到一些坑。随便记录一下
软件要求
1、jdk1.8
2、maven 3.3+
3、scala 2.11+
4、sbt 0.13.12
5、git
6、IntelliJ IDEA对于1-5项配置环境变量 path。特别是对git的配置一定不要忘记。因为spark编译时需要用到bash环境
一、下载spark源码，可以直接去spark官网下，也可以用git去github直接下载，我是用github上下载master。git clone https://github.com/apache/spark.git   这里需要一些时间，提示成功就可以了。
二、编译源码，spark编译支持mvn和sbt，这里只使用mvn就行  1、cmd到spark源码目录 ，我的如下


 2、分配内存（不设置为有内存溢出问题）

set MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"  官网推荐，但是我的电脑是8G内存，用这个命令总是报错。所以我用了下面的命令

      set MAVEN_OPTS=-Xmx1g
3、执行mvn命令mvn -DskipTests clean package4、最终会看成成功的提示..............

补充：
指定yarn和hadoop版本构建（hadoop 2.7）mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3 -DskipTests clean package