hadoop2.6 集群安装

1、设置 /etc/hosts

10.1.234.209 master

10.1.234.210 slave1

2、创建操作系统用户：rti

useradd -m rti -d /home/rti -s /bin/bash

3、设置ssh免密登录

在master上：

ssh-keygen # 生成密钥

ssh-copy-id -i ~/.ssh/id_rsa.pub slave1 # 将密钥复制到slave1上

ssh slave1 # 测试是否从master免密登录slave1

在slave1上，同上

sshd为了安全，对属主的目录和文件权限有所要求。如果权限不对，则ssh的免密码登陆不生效。
用户目录权限为 755 或者 700，就是不能是77x。
.ssh目录权限一般为755或者700。
rsa_id.pub 及authorized_keys权限一般为644
rsa_id权限必须为600

4、安装JDK并设置环境变量，略

5、安装hadoop2.6

1) 下载并解压 hadoop-2.6.0.tar.gz，并设置环境变量HADOOP_HOME，PATH

2) 修改配置文件

$HADOOP_HOME/etc/hadoop/hadoop-env.sh，修改JAVA_HOME，增加 HADOOP_PREFIX

$HADOOP_HOME/etc/hadoop/yarn-env.sh，修改JAVA_HOME

$HADOOP_HOME/etc/hadoop/slaves，增加 slave1

$HADOOP_HOME/etc/hadoop/core-site.xml

$HADOOP_HOME/etc/hadoop/hdfs-site.xml

$HADOOP_HOME/etc/hadoop/mapred-site.xml

$HADOOP_HOME/etc/hadoop/yarn-site.xml

修改 core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/rti/apps/hadoop-2.6.0/tmp</value>
</property>
</configuration>

修改 hdfs-site.xml

<configuration>
<property>
<name>dfs.datanode.ipc.address</name>
<value>0.0.0.0:50020</value>
</property>
<property>
<name>dfs.datanode.http.address</name>
<value>0.0.0.0:50075</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

修改 mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

修改 yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

配置好 hadoop之后，将 hadoop-2.6.0和.bash_profile复制到slave1上

scp -r hadoop-2.6.0 rti@slave1:~

scp .bash_profile@slave1:~

6、测试

1) 先格式化

hdfs namenode –format

2) 启动dfs

$HADOOP_HOME/sbin/start-dfs.sh

jps查看进程，master上有NameNode, SecondaryNameNode，slave1上有DataNode

3) 启动yarn

$HADOOP_HOME/sbin/start-yarn.sh

jps查看进程，master上有ResourceManager，slave1上有NodeManager

4) 访问控制台
http://master:50070 http://master:8088