Hadoop源码编译

Linux环境：CentOS 6.5

版本：Hadoop 2.7.4

下载地址：http://mirrors.shuosc.org/apache/hadoop/common/hadoop-2.7.4/hadoop-2.7.4-src.tar.gz

参考文档：https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

写在前面的话

以root用户为主，配置全局环境变量

BUILDING.txt中的话

Requirements:(编译的环境要求)
* Unix System
* JDK 1.8+
* Maven 3.3 or later(伴随后面的工作)
maven相关介绍：
Apache Maven: 软件  pom.xml
Maven  repository:
<!-- https://mvnrepository.com/artifact/mysql/mysql-connector-java -->
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>5.1.37</version>
</dependency>

* ProtocolBuffer 2.5.0
* CMake 3.1 or newer (if compiling native code)
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
* (暂时不需要)Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_dfs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencies)
* (暂时不需要)python (for releasedocs)
* (暂时不需要)bats (for shell code testing)
* (暂时不需要)Node.js / bower / Ember-cli (for YARN UI v2 building)

编译前的准备

切换到root用户
$>su -
查看是否有相关进程运行
$>ps -ef | grep hadoop
查看是否有安装的残留
$>find / -name hadoop
进入到opt目录
$>cd /opt
创建两个相关文件夹(sourcecode:源码 software:软件)
$>mkdir sourcecode software
将事先下载完的源代码包上传到sourcecode
安装命令
$>yum -y install lrzsz(必须要有网络)
查看是否安装完毕(rz用于上传软件，也可以使用WinSCP)
$>which rz
解压
$>tar -xzvf hadoop-2.8.1-src.tar.gz

部署JAVA环境

创建目录
$>mkdir /usr/java
进入目录
$>cd /usr/java
使用rz命令上传
$>rz
解压
$>tar -xzvf jdk-8u45-linux-x64.gz
修改用户和用户组(针对出现目录权限变更的情况)
$>chown -R root:root jdk1.8.0_45
配置全局环境变量
$>vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_45
export PATH=$JAVA_HOME/bin:$PATH
生效环境变量
$>source /etc/profile
验证
$>java -version

安装maven

进入到相关目录
$>cd /opt/software
使用rz命令上传
$>rz
解压
$>unzip apache-maven-3.3.9-bin.zip
配置全局环境变量
$>vi/etc/profile
export MAVEN_HOME=/opt/software/apache-maven-3.3.9
export MAVEN_OPTS="-Xms256m -Xmx512m"
export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效环境变量
$>source /etc/profile
验证
$>mvn -version
修改conf/settings.xml(将mirror换成阿里云的，后面编译的时候速度会快些)
<mirrors>
<mirror>
<id>alimaven</id>
<name>aliyun maven</name>
<url>http://maven.aliyun.com/nexus/content/groups/public/</url>
<mirrorOf>central</mirrorOf>
</mirror>
</mirrors>

安装ProtocolBuffer 2.5.0

下载下来的为源码，需要自己手动使用命令进行编译安装，然后进行环境变量的配置

进入到相关目录
$>cd /opt/software
使用rz命令上传
$>rz
解压
$>tar -xzvf protobuf-2.5.0.tar.gz
进行安装
$>yum install -y gcc gcc-c++ make cmake           (安装cmake  -y表示回车之后不需要输入yes了)
$>cd protobuf-2.5.0
$>./configure --prefix=/opt/software/protobuf  (指定编译之后的安装路径，目录不需要自己去创建，编译过程中会自动创建)
$>make && make install                        (开始安装)
配置全局环境变量
$>vi /etc/profile
export PROTOC_HOME=/opt/software/protobuf
export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效环境变量
$>source /etc/profile
验证
$>protoc --version

Findbugs安装(可选，可以不安装)

进入到相关目录
$>$>cd /opt/software
使用rz命令上传
$>rz
解压
$>unzip findbugs-1.3.9.zip
配置全局环境变量
$>vi /etc/profile
export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效环境变量
$>source /etc/profile
验证
$>findbugs -version

安装其它依赖

根据Github上的文档中Requirements的要求，安装剩下的依赖，以及编译过程中可能会缺失的东西，以免编译失败

$>yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool
$>yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

开始编译

$>cd /opt/sourcecode/hadoop-2.7.4-src
$>mvn clean package -Pdist,native -DskipTests -Dtar
-DskipTests ：跳过测试
-Dtar       ：打成tar包
BUILDING.txt上的说明：
Building distributions:
Create binary distribution without native code and without documentation:
$ mvn package -Pdist -DskipTests -Dtar -Dmaven.javadoc.skip=true
Create binary distribution with native code and with documentation:
$ mvn package -Pdist,native,docs -DskipTests -Dtar
Create source distribution:
$ mvn package -Psrc -DskipTests
Create source and binary distributions with native code and documentation:
$ mvn package -Pdist,native,docs,src -DskipTests -Dtar
Create a local staging version of the website (in /tmp/hadoop-site)
$ mvn clean site -Preleasedocs; mvn site:stage -DstagingDirectory=/tmp/hadoop-site

编译成功

编译成功的截图



编译之后

路径：/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.7.4.tar.gz

补充说明

a.有时候编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，此时按ctrl+c，重新运行编译命令。

b.如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。