spark编译过程与实现

基本配置

配置jdk、scala 、maven

修改

make –distribution.sh 中的

#VERSION=$("$MVN" help:evaluate -Dexpression=project.version 2>/dev/null | grep -v "INFO" | tail -n 1)

#SPARK_HADOOP_VERSION=$("$MVN" help:evaluate -Dexpression=hadoop.version $@ 2>/dev/null\

#    | grep -v "INFO"\

#    | tail -n 1)

#SPARK_HIVE=$("$MVN" help:evaluate -Dexpression=project.activeProfiles -pl sql/hive $@ 2>/dev/null\

#    | grep -v "INFO"\

#    | fgrep --count "<id>hive</id>";\

#    # Reset exit status to 0, otherwise the script stops here if the last grep finds nothing\

#    # because we use "set -o pipefail"

#    echo -n)

以上内容注释掉（可以加快编译）

增加以下内容

VERSON=1.3.0  --spark的版本可以修改

SPARK_HADOOP_VERSION=2.6.0-cdh5.4.0  --基于hadoop的版本

SPARK_HIVE=1   --hive 的版本。

执行命令 （根据个人情况填写参数）

make-distribution.sh --tgz  -Pyarn -Phadoop-2.4 -Dhadoop.verson=2.6.0-cdh5.4.0 -Phive-0.13.1 -Phive-thriftserver