hadoop-2.4.1在linux下的编译
2014-09-17 16:54
225 查看
hadoop-2.4.1在linux下的编译
我使用的是CentOS release 6.4. 版本是1.7.0。
系统已经默认安装了openjdk 1.7.0_09, cmake version 2.8.12.1, OpenSSH_5.3.
1 安装Maven 3.0 或更高本版
tar xvzf protobuf-2.5.0.tar.gz
2 安装Findbugs 1.3.9
tar xvzf findbugs-1.3.9.tar.gz
Maven和Findbugs 都不需要安装,解压后就可以直接运行。这里需要设置环境变量,以便在编译hadoop的时候编译程序可以找到。
export M2_HOME=/home/username/hadoop/buildhadoop/tools/apache-maven-3.2.3
export FINDBUGS_HOME=/home/username/hadoop/buildhadoop/tools/findbugs-1.3.9
PATH=$PATH:$M2_HOME/bin:$FINDBUGS_HOME/bin:
3 安装Protocol Buffers
下载protobuf-2.5.0.tar.gz。
tar xvzf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
通过configure配置要安装的目录,可以不加prefix选项,系统将使用默认路径。
./configure --prefix=/home/username/hadoop/buildhadoop/tools/installdir/protoc
make
make check
make install
到这里,protoc已经编译成功了,并且c++需要的库文件也已经安装到/home/username/hadoop/buildhadoop/tools/installdir/protoc 目录下了。
下面需要安装java运行库到/home/username/hadoop/buildhadoop/tools/installdir/protoc 。
cd java
mvn test
mvn install
mvn package
由于我没有安装protoc到系统的默认路径,因此这里我需要设置环境。
export PROTOC_HOME=/home/username/hadoop/buildhadoop/tools/installdir/protoc
export PATH=$PATH:$PROTOC_HOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yuxinliu/hadoop/buildhadoop/tools/protobuf-2.5.0/java/target:/home/yuxinliu/hadoop/buildhadoop/tools/installdir/protoc/lib
4 cmake 如果你的系统没有安装cmake,请安装。我的系统已经默认安装。
tar xvzf cmake-3.0.2.tar.gz
cd cmake-3.0.2
./bootstrap
make
make install
5 编译hadoop. 在编译之前,需要初始化环境变量。
tar xvzf hadoop-2.4.1-src.tar.gz
cd hadoop-2.4.1-src
mvn package -Pdist -DskipTests -Dtar
到此,你应该可以正确编译hadoop了。为了方便每次初始化环境变量,你可以使用下面的脚本来自动初始化。
.初始化脚本
#!/bin/sh
export M2_HOME=/home/yuxinliu/hadoop/buildhadoop/tools/apache-maven-3.2.3
export FINDBUGS_HOME=/home/yuxinliu/hadoop/buildhadoop/tools/findbugs-1.3.9
export PROTOC_HOME=/home/yuxinliu/hadoop/buildhadoop/tools/installdir/protoc
export PATH=$PATH:$M2_HOME/bin:$FINDBUGS_HOME/bin:$PROTOC_HOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yuxinliu/hadoop/buildhadoop/tools/protobuf-2.5.0/java/target:/home/yuxinliu/hadoop/buildhadoop/tools/installdir/protoc/lib
hadoop-2.4.1在linux下的编译
我使用的是CentOS release 6.4. 版本是1.7.0。
系统已经默认安装了openjdk 1.7.0_09, cmake version 2.8.12.1, OpenSSH_5.3.
1 安装Maven 3.0 或更高本版
tar xvzf protobuf-2.5.0.tar.gz
2 安装Findbugs 1.3.9
tar xvzf findbugs-1.3.9.tar.gz
Maven和Findbugs 都不需要安装,解压后就可以直接运行。这里需要设置环境变量,以便在编译hadoop的时候编译程序可以找到。
export M2_HOME=/home/username/hadoop/buildhadoop/tools/apache-maven-3.2.3
export FINDBUGS_HOME=/home/username/hadoop/buildhadoop/tools/findbugs-1.3.9
PATH=$PATH:$M2_HOME/bin:$FINDBUGS_HOME/bin:
3 安装Protocol Buffers
下载protobuf-2.5.0.tar.gz。
tar xvzf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
通过configure配置要安装的目录,可以不加prefix选项,系统将使用默认路径。
./configure --prefix=/home/username/hadoop/buildhadoop/tools/installdir/protoc
make
make check
make install
到这里,protoc已经编译成功了,并且c++需要的库文件也已经安装到/home/username/hadoop/buildhadoop/tools/installdir/protoc 目录下了。
下面需要安装java运行库到/home/username/hadoop/buildhadoop/tools/installdir/protoc 。
cd java
mvn test
mvn install
mvn package
由于我没有安装protoc到系统的默认路径,因此这里我需要设置环境。
export PROTOC_HOME=/home/username/hadoop/buildhadoop/tools/installdir/protoc
export PATH=$PATH:$PROTOC_HOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yuxinliu/hadoop/buildhadoop/tools/protobuf-2.5.0/java/target:/home/yuxinliu/hadoop/buildhadoop/tools/installdir/protoc/lib
4 cmake 如果你的系统没有安装cmake,请安装。我的系统已经默认安装。
tar xvzf cmake-3.0.2.tar.gz
cd cmake-3.0.2
./bootstrap
make
make install
5 编译hadoop. 在编译之前,需要初始化环境变量。
tar xvzf hadoop-2.4.1-src.tar.gz
cd hadoop-2.4.1-src
mvn package -Pdist -DskipTests -Dtar
到此,你应该可以正确编译hadoop了。为了方便每次初始化环境变量,你可以使用下面的脚本来自动初始化。
.初始化脚本
#!/bin/sh
export M2_HOME=/home/yuxinliu/hadoop/buildhadoop/tools/apache-maven-3.2.3
export FINDBUGS_HOME=/home/yuxinliu/hadoop/buildhadoop/tools/findbugs-1.3.9
export PROTOC_HOME=/home/yuxinliu/hadoop/buildhadoop/tools/installdir/protoc
export PATH=$PATH:$M2_HOME/bin:$FINDBUGS_HOME/bin:$PROTOC_HOME/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yuxinliu/hadoop/buildhadoop/tools/protobuf-2.5.0/java/target:/home/yuxinliu/hadoop/buildhadoop/tools/installdir/protoc/lib
相关文章推荐
- linux下编译hadoop2.4.1源码
- Hadoop源码编译-hadoop-2.0.3-alpha-Linux-CentOS
- linux下编译hadoop-eclipse插件
- Linux 环境下部署Hadoop 2.x,建议尝试64位系统下进行本地编译的安装方式
- 简化 Hadoop 2.4.1 Eclpse 插件编译【原创】
- 64位的linux装的hadoop是32位的,需要手工编译
- 在linux下编译hadoop1.0.3
- hadoop2.4.1 spark1.0.1编译
- 从零教你在Linux环境下(ubuntu)如何编译hadoop2.4
- Linux 环境下部署Hadoop 2.x,建议尝试64位系统下进行本地编译的安装方式
- Linux下Hadoop Eclipse插件编译安装
- Linux下Hadoop Eclipse插件编译安装
- hadoop2.2.0的编译(64位linux系统)
- Linux下成功编译hadoop-eclipse-plugin-${version}.jar
- 在linux下编译hadoop1.0.3
- 【hadoop之翊】——CentOS6.5 Linux上面编译Hadoop2.4源码
- linux下hadoop-1.0.4源码部署及编译
- 32位LINUX下hadoop2.2.0重新编译及安装步骤
- hadoop2.4.1在64位Deepin/Ubuntu系统中编译安装
- RedHat Ent 6.5 64bit编译安装hadoop2.4.1