Ubuntu12.04下安装Hadoop2.4.0单机模式详细教程

0x01 系统环境

操作系统版本：Ubuntu12.04-Desktop版（amd64）

Hadoop版本：Hadoop-2.4.0

虚拟机版本：VMware-10.0

资源文件：VMware_10的安装包及注册机，Ubuntu12.04的桌面版及服务器版（32及64位均有，选择自己需要的下载），JDK_8u40版本，hadoop_2.4.0.tar.gz安装包。

下载链接：http://pan.baidu.com/s/1o6mPFNO 密码：tle9

作者：King

0x02 创建hadoop组及hadoop用户

我们先创建一个hadoop组，同时在组里面添加hadoop用户，在后期所有涉及到Hadoop安装的操作都会在此用户下进行。由于我们在虚拟机中操作，所以建议每完成一个环节就新建一个快照保存进度，防止操作错误导致前面的工作全都白费。

1.创建hadoop用户组

命令：sudo addgroup hadoop

2.向hadoop组里面添加hadoop用户

命令：sudo adduser -ingroup hadoop hadoop

输入命令并确定之后，会提示输入hadoop用户的密码，并重新输入确认密码。

请记住此密码，因为你需要使用此密码登录系统。

之后会让你输入一些新的值，如Full Name等，这个不需要填，全部按Enter键即可。

最后会弹出一个确认信息，输入Y，确定即可。



3.给hadoop用户赋予管理员权限

命令：sudo gedit /etc/sudoers

输入命令，回车，打开sudoers文件。并按照下图红圈标识的信息修改即可。

0x03 安装JDK环境

做完上面一步之后，退出系统换hadoop用户登录系统，然后将jdk-8u40-linux-x64.tar.gz复制到你的Ubuntu12.04中，然后先在/usr/lib/下新建一个文件夹为jvm。然后将jdk-8u40-linux-x64.tar.gz解压到
/usr/lib/jvm 中。

sudo mkdir /usr/lib/jvm
sudo tar -zxvf jdk-8u40-linux-x64.tar.gz -C /usr/lib/jvm

然后修改环境变量

sudo gedit /etc/profile

输入上面的命令，打开配置文件，在文件最后面加上一下内容。

#set java environment
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

保存退出之后，使用下面的命令使配置文件生效。

source /etc/profile

最后对安装的JDK环境进行验证，输入一下命令：

java -version

如果出现上图内容说明安装成功。

至此JDK环境安装完毕

0x04 配置SSH无密码登录

1.安装SSH

直接输入以下命令进行安装

sudo apt-get install openssh-server

SSH启动命令：

sudo service ssh start   或   sudo etc/init.d/ssh start

SSH关闭命令：

sudo service ssh stop   或   sudo etc/init.d/ssh stop

使用以下命令进行检测是否安装成功。

sudo ps -e |grep ssh

如上图，如果出现sshd就说明已经启动成功。

2.配置SSH无密码登录

接下来，配置SSH无密码登录。

ssh-keygen -t rsa -P ""

此时会在/home/hadoop/.ssh下生成两个文件：id_rsa和id_rsa.pub，前者为私钥，后者为公钥。

下面我们将公钥追加到authorized_keys中，它用户保存所有允许以当前用户身份登录到ssh客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

之后我们登录ssh，验证是否可以无密码登录

ssh localhost

如上图所示，则是登录成功。

可以使用命令：exit，退出。

0x05 安装Hadoop2.4.0

1.下载hadoop2.4.0到你的系统中。

2.安装

先解压下载的hadoop-2.4.0.tar.gz

sudo tar -zxvf hadoop-2.4.0.tar.gz

然后将解压之后的文件夹拷贝到 /usr/local/ 中的hadoop。

sudo mv hadoop-2.4.0 /usr/local/hadoop

然后修改文件的权限。

sudo chmod 774 /usr/local/hadoop

3.配置~/.bashrc

先配置~/.bashrc文件

sudo gedit ~/.bashrc

输入上面的命令打开文件，在文件的最后加上以下内容。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40 //修改为之前安装JDK的路径

export HADOOP_INSTALL=/usr/local/hadoop //修改为之前安装hadoop的路径
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
#HADOOP VARIABLES END

修改结果如下图所示：



使用下面的命令，使修改的配置信息生效。

source ~/.bashrc

4.配置hadoop-env.sh

执行下面命令，打开该文件的编辑窗口

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到JAVA_HOME变量，修改此变量如下

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_40

修改后的hadoop-env.sh文件如下所示：



至此Hadoop单机模式安装完成，下面进行测试。

0x06 WordCount测试

单机模式安装完成，下面通过执行hadoop自带实例WordCount验证是否安装成功

现在 /usr/local/hadoop路径下创建input文件夹作为数据的输入端。

mkdir input

拷贝README.txt到input

cp README.txt input

然后使用下面的命令，执行WordCount程序

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

执行过程为



使用下面的命令查看结果：

cat output/*