hadoop2.0.3 源码编译,及安装

从真正知道有hadoop 这个东西,是从去年年底开始的, 从去年到现在这段时间,其中也有过间断的学习,hadoop当初给我的感觉是这个东西比较神奇,以至于到现在我对它都保持极高的好奇心。
真正下决心学习hadoop是今年过年后了,想找一个技术作为突破口,来充实自己的技能,于是我选择了hadoop.
原因有2个,第1 hadoop 的生态系统完善及数据处理能力，第2是开源,.
这个日记算是学习笔记,现在来说说hadoop 的编译,打包,及安装。
一，hadoop 2.0.3 的编译

选择hadoop版本：branch-2.0.3-alpha

操作系统版本: suse11 x64

假设java 环境安装正确,java 版本1.6

操作方法及具体步骤:
1,从git.apache.org 中clonehadoop-common

git clonegit://git.apache.org/hadoop-common.git

2,安装编译hadoop-common 需要用到的软件,并测试是否安装成功.具体安装步骤在此略过了.
Requirements:

* Unix System
* JDK 1.6
* Maven 3.0
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.4.1+ (for MapReduce andHDFS)
* CMake 2.6 or newer (if compiling nativecode)
3,进入到hadoop-common 切换到2.03版本
git checkout branch-2.0.3-alpha
然后运行maven 命令
$ mvn install -DskipTests$ mvn eclipse:eclipse -DdownloadSources=true -DdownloadJavadocs=true
大概经过1小时左右的运行(由网络环境而定) 如果没有意外hadoop 源码编译完成了,也可以导入eclipse 做二次开发了,
4, 现在我们编译成tar包来进行安装. mvn package -Dtar -DskipTests –Pdist,native,docs
等待运行完成命令后 就可以在hadoop-common/hadoop-dist/target 见到我们编译好的hadoop-2.0.3-alpha.tar.gz
值得注意的是suse11里面运行报错,可能系统没有安装zlib和openssl-devel 的问题,
从http://zlib.net/下载安装zlib ,和使用yast 安装libopenssl-devel之后在次运行上面的命令就可以成功运行maven编译了.
二hadoop 2.0.3 的安装
根据官方文档,分文单机安装,和分布式安装

单机安装

步骤1,假设上面编译通过,并且解压设置HADOOP_COMMON_HOME/HADOOP_HDFS_HOME,
这2个变量设置为hadoop-alpha目录,然后我们就可以继续下一步安装了,运行命令

$ cd hadoop-mapreduce-project/target 可以看到一个tar文件,虽然文档上面提供了一个命令

$ mvn clean install assembly:assembly -Pnative

但是可能由于我maven 版本问题,也可能是pom 配置问题 无法运行这个命令，但是既然生产了tar 文件,对于当前情况就不过于研究问题所在了。

步骤2.其次解压hadoop-mapreduce-2.0.3-alpha.tar.gz

设置 HADOOP_YARN_HOME/HADOOP_MAPRED_HOME.为hadoop-mapreduce-2.0.3-alpha.tar.gz 的解压目录.

3.设置配置文件.mapred-site.xml yarn-site.xml capacity-scheduler.xml

,应为有默认的,运行文档上的命令

$ cd $HADOOP_MAPRED_HOME

$ sbin/yarn-daemon.sh start resourcemanager

$ sbin/yarn-daemon.sh start nodemanager

$HADOOP_COMMON_HOME/bin/hadoop jar hadoop-examples.jar randomwriter out

,访问http://host:8088 就能看见资源管理节点了.

,如果设置了以上配置文件则启动命令必须添加参数

$ sbin/yarn-daemon.sh –config $HADOOP_CONF_DIRstart resourcemanager

$ sbin/yarn-daemon.sh –config $HADOOP_CONF_DIR start nodemanager

分布式安装