centos6.6 搭建hadoop-2.6.0步骤

centos6.6 搭建hadoop-2.6.0

1 在VMware下建三个虚拟机，分别表示一个master，两个slave。

可以用hostname 查看主机的名称。 并用host XX 改主机的名字（XX表示主机的名字）

也可以 vim /etc/sysconfig/network

2 配置三个虚拟机的iP，每个主机都要配置。

可以用 vim /etc/sysconfig/network-scripts/ifcfg-eth0



也可以点击右上方网络图标，进行手动进行配置。





3 建立三台虚拟机的映射关系，每台都要进行设置。

vim /etc/hosts



4 关闭系统防火墙。

chkconfig iptables off

每台都要做，注意防火墙关闭后要重启。

可用 chkconfig iptables –list 查看系统防火墙是否关闭，全为off。

5配置SSH密码登陆

5.1 Hadoop 需要通过ssh登陆到各个节点，每个机器都生成公钥，再合并到authorized_keys文件中。

删除/etc/ssh/sshd_config中的两行注释，每台都要删除。

RSAAuthentication yes

PubkeyAuthentication yes

5.2 输入 ssh-keygen -t rsa .一直ENTER生产key，直到生产图案。



5.3 合并公钥到authorized_keys文件。进入/root/.ssh目录。每台机器都要做。

cat id_rsa.pub>>authorized_keys

5.4 进入master机器 /root/.ssh目录

执行下面命令

ssh root@slave2.1 cat /root/.ssh/id_rsa.pub>>authorized_keys

ssh root@slave2.2 cat /root/.ssh/id_rsa.pub>>authorized_keys

5.5 将master2节点的authorized_keys 和known_hosts复制到slave节点。

scp -r /root/.ssh/authorized-keys root@slave2.1:/roor/.ssh

scp -r /root/.ssh/konwn_hosts root@slave2.1:/root/.ssh

scp -r /root/.ssh/authorized-keys root@slave2.2:/roor/.ssh

scp -r /root/.ssh/konwn_hosts root@slave2.2:/root/.ssh

5.6 复制完成验证是否成功。

ssh slave2.1

ssh slave2.2

查看是否能进入slave节点。

但是如果遇到提示：

# Agent admitted failure to sign using the key

需要登录密码才能进去，这样就失去了免登录的意义了。

执行命令：

# ssh-add /root/.ssh/id_rsa

会有如下提示信息：

Identity added: /root/.ssh/id_rsa (/root/.ssh/id_rsa)

这时候执行命令：

# ssh slave1

就可以直接登陆到slave1节点了。如果想返回到主机节点上Ctrl + D 退出登录。

6 安装JAVA JDK

6.1 卸载自带的JDK

可以通过命令 rpm -qa|grep java 查看系统自带的jdk信息。比如：

java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.i686

卸掉系统的jdk:

rpm -e –nodeps java-1.7.0-openjdk-1.7.0.65-2.5.1.2.el6_5.i686

然后输入指令java 如果显示

bash:java:command not found 则表示删除Java 成功。

6.2 安装jdk

在usr目录下新建java文件夹。将jdk安装包放在/usr/java/。

tar -zxvf jdk-8u51-linux-i586.gz 解压到当前文件夹。

6.3 配置JAVA环境变量

vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_51

export JRE_HOME=/usr/java/jdk1.8.0_51/jre

export PATH=PATH:PATH:JAVA_HOME/bin:JREHOME/bin:exportCLASSPATH=.:JRE_HOME/bin:
export CLASSPATH=.:JAVA_HOME/lib/dt.jar:JAVAHOME/lib/tools.jar:JAVA_HOME/lib/tools.jar:JRE_HOME/lib

修改完环境变量后更新下配置文件

#source /etc/profile​

7 配置Hadoop变量及文件

7.1 配置HADOOP_HOME变量

vim /etc/profile



更新配置文件

source /etc/profile

7.2 配置Hadoop文件

打开hadoop-env.sh 和yarn-env.sh

加入 export JAVA_HOME=/usr/java/jdk_1.8.0_51

配置slaves文件 ,删除localhost,加入节点的名字,每台机器都要做。

vim slaves

添加：

slave201

slave202

7.3分别配置core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml(如果没有就新建文件)

core-site.xml



hdfs-site.xml





yarn-site.xml





mapred-site.xml





7.4 配置结束后，把Hadoop文件和JDK文件复制到slave节点上，注意文件目录要一样，不然要修改配置文件。

scp -r /usr/java/jdk1.8.0_51 root@slave201:/usr/java/

scp -r /usr/java/jdk1.8.0_51 root@slave202:/usr/java/

scp -r /home/hadoop-2.6.0 root@slave201:/home/

scp -r /home/hadoop-2.6.0 root@slave202:/home/

还要修改slave的环境变，和master节点一样。

vim /etc/profile

注意修改后要

source /etc/profile

8 启动hadoop

8.1 启动前要格式化namenode

cd /home/hadoop-2.6.0

bin/hdfs namenode -format

8.2 格式化完成后

sbin/start-all.sh

这时可以通过jps命令来查看是否成功。或者通过浏览器

，在浏览器中输入loacalhost:50070。





这样就显示成功了。

由于是新手安装过程中碰到很多困难，看过许多人的文章，

在这里特别要感谢刘师兄，在他的文章及指导下才配置成功的。下面是他博客链接：

http://blog.sina.com.cn/s/blog_945b0eac0102vspy.html

文章中可能会有问题，恳请批评指正。