Hadoop分布式集群安装配置教程

环境准备：

[hadoop@master ~]$ hadoop version
Hadoop 2.7.2
.....

[hadoop@master ~]$ ping node1 -c 2
[hadoop@node1 ~]$ ping master -c 2

配置SSH无密登陆节点

这个操作是要让 master 节点可以无密码 SSH 登陆到各个 node 节点上
[hadoop@master hadoop]$ cd ~/.ssh               # 如果没有该目录，先执行一次ssh localhost
[hadoop@master hadoop]$ rm ./id_rsa*            # 删除之前生成的公匙（如果有）
[hadoop@master hadoop]$ ssh-keygen -t rsa       # 一直按回车就可以
[hadoop@master hadoop]$ cat ./id_rsa.pub >> ./authorized_keys
完成后可执行 ssh Master 验证一下（可能需要输入 yes，成功后执行 exit 返回原来的终端）
接着在 Master 节点将上公匙传输到 Node1 节点：
[hadoop@master hadoop]$ scp ~/.ssh/id_rsa.pub hadoop@Node1:/home/hadoop/
接着在 Node1 节点上，将 ssh 公匙加入授权：
[hadoop@node1 ~]$ mkdir ~/.ssh       # 如果不存在该文件夹需先创建，若已存在则忽略
[hadoop@node1 ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@node1 ~]$ rm ~/id_rsa.pub    # 用完就可以删掉了

配置环境变量：

Hadoop

[hadoop@master ]$ vim ~/.bashrc，加入一行：
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
[hadoop@master hadoop]$ source ~/.bashrc

配置集群/分布式模式

slaves

DataNode

NameNode

[hadoop@master hadoop]$ cat slaves
node1
[hadoop@master hadoop]$ vim core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.native.lib</name>
<value>false</value>
<description> if loadown nativelib</description>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary direction</description>
</property>
</configuration>

`dfs.replication` 一般设为 3，但我们只有一个 node 节点，所以 dfs.replication 的值还是设为`1`：
[hadoop@master hadoop]$ vim hdfs-site.xml
<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>

[hadoop@master hadoop]$ vim mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>master:19888</value>
</property>
</configuration>

[hadoop@master hadoop]$ vim yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

配置好后，将 Master 上的 /usr/local/hadoop/etc/hadoop 文件夹复制到各个节点上。
[hadoop@master hadoop]$ cd /usr/local/hadoop
[hadoop@master hadoop]$ sudo rm -r tmp     # 删除 Hadoop 临时文件
[hadoop@master hadoop]$ sudo rm -r logs/*   # 删除日志文件
[hadoop@master hadoop]$ tar -zcf ~/hadoop.master.tar.gz ./etc/hadoop  # 先压缩再复制
[hadoop@master hadoop]$ cd ~
[hadoop@master hadoop]$ scp ./hadoop.master.tar.gz Node1:/home/hadoop
在 Node1 节点上执行：
[hadoop@node1 ]$ sudo rm -r /usr/local/hadoop/etc/hadoop    # 删掉旧的（如果存在）
[hadoop@node1 ]$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local/hadoop/etc
[hadoop@node1 ]$ sudo chown -R hadoop:hadoop /usr/local/hadoop/etc/hadoop
同样，如果有其他 Node 节点，也要执行将 hadoop.master.tar.gz 传输到 Node 节点、在 Node 节点解压文件的操作。

启动并测试Hadoop集群

首次启动需要先在 Master 节点执行 NameNode 的格式化：
[hadoop@master ]$ hdfs namenode -format       # 首次运行需要执行初始化，之后不需要
接着可以启动 hadoop 了，启动需要在 Master 节点上进行：
[hadoop@master ]$ start-dfs.sh
[hadoop@master ]$ start-yarn.sh
[hadoop@master ]$ mr-jobhistory-daemon.sh start historyserver
通过命令 jps 可以查看各个节点所启动的进程。正确的话，在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程:
[hadoop@master ~]$ jps
2867 JobHistoryServer
2260 NameNode
13191 Jps
2446 SecondaryNameNode
2591 ResourceManager
----------
在 Node 节点可以看到 DataNode 和 NodeManager 进程
[hadoop@node1 ~]$ jps
2146 DataNode
13800 Jps
2250 NodeManager

缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动，如果 Live datanodes 不为 0 ，则说明集群启动成功。例如我这边一共有 1 个 Datanodes：
[hadoop@master ~]$ hdfs dfsadmin -report
Configured Capacity: 23602401280 (21.98 GB)
Present Capacity: 21455265792 (19.98 GB)
DFS Remaining: 21454774272 (19.98 GB)
DFS Used: 491520 (480 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (1):

Name: 172.16.151.20:50010 (node1)
Hostname: node1
Decommission Status : Normal
Configured Capacity: 23602401280 (21.98 GB)
DFS Used: 491520 (480 KB)
Non DFS Used: 2147135488 (2.00 GB)
DFS Remaining: 21454774272 (19.98 GB)
DFS Used%: 0.00%
DFS Remaining%: 90.90%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Dec 18 00:52:52 CST 2016

伪分布式、分布式配置切换时的注意事项

[hadoop@master ~]$ hdfs dfs -mkdir -p /user/hadoop
将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中：
[hadoop@master ~]$ hdfs dfs -mkdir input
[hadoop@master ~]$ hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

[hadoop@master ~]$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

重启 Hadoop

增大虚拟机的内存

Tracking UI

执行完毕后的输出结果

[hadoop@master ~]$ stop-yarn.sh
[hadoop@master ~]$ stop-dfs.sh
[hadoop@master ~]$ mr-jobhistory-daemon.sh stop historyserver