windows下编译spark的源码

1.maven的安装

到maven官网下载maven,maven依赖于jdk，所以先确保以安装jdk( http://maven.apache.org/download.cgi )



解压到一个目录下，我选择的是D:\learning_soft\maven

然后配置环境变量

%M2_HOME%=D:\learning_soft\maven\apache-maven-3.3.9

添加到path路径 %M2_HOME%bin

验证安装成功



修改maven的内存配置

在mvn.cmd或者mvn.bat中找到：

@REM set MAVEN_OPTS=-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8000

在其后添加

-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

2.spark编译

到spark官网下载spark的源码，这里选择的spark-1.3.1

,解压文件后，修改pom.xml文件

<java.version>1.7</java.version>
<hadoop.version>2.4.1</hadoop.version>
<protobuf.version>2.5.0</protobuf.version>
<hbase.version>0.98.9-hadoop2</hbase.version>
<zookeeper.version>3.4.6</zookeeper.version>
<derby.version>10.11.1.1</derby.version>

主要是指定hadoop，hbase的版本

然后在将目录切换到spark的目录下



输入

mvn -Pyarn -Dhadoop.version=2.4.1 -Dyarn.version=2.4.1 -DskipTests clean package

遇到的问题





reference

1.http://jingyan.baidu.com/article/1709ad808ad49f4634c4f00d.html

2.http://www.aboutyun.com/thread-11746-1-1.html

3./article/2161033.html