Hadoop集群安装配置教程
2015-11-09 20:09
711 查看
之前在参考一些资料搭建hadoop集群的时候老是出错,心情也是不爽,后来同学推荐我看了这边博客,感觉讲的是真心不错,也按着上面来做了,最后搭建成功,真的很感谢写这篇博客的博主。在这里,也推荐给大家。
本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位、64位均可),请自行安装系统。如果必须使用 RedHat、CentOS 等,本教程也可以作为参考,配置是相似的,就是 Linux 命令、具体操作有所不同。
本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,例如 Hadoop 2.4.1。
本教程所使用的集群环境: 两台主机,一台作为 Master,局域网 IP 为 192.168.1.121;另一台作为 Slave,局域网 IP 为 192.168.1.122。
Hadoop 集群的安装配置大致为如下流程:
选定一台机器作为 Master
在 Master 主机上配置hadoop用户、安装SSH server、安装Java环境
在 Master 主机上安装Hadoop,并完成配置
在其他主机上配置hadoop用户、安装SSH server、安装Java环境
将 Master 主机上的Hadoop目录复制到其他主机上
开启、使用 Hadoop
配置hadoop用户、安装SSH server、安装Java环境、安装Hadoop已经在Hadoop安装教程_单机/伪分布式配置中有详细介绍,请前往浏览,不再重复叙述。
强烈建议新手先按照上述教程在 Master 主机上安装一次伪分布式环境的 Hadoop,毕竟平时写程序,还是会先在伪分布式环境下进行调试的。待伪分布式能够正常使用后,再继续浏览本教程后续的集群配置。
在 Master 主机上完成伪分布式配置后,请先关闭 Hadoop (
我这边是使用了两台主机搭建集群,主机名与IP地址对应如下:
首先选定哪台主机要作为Master(比如我选择的是ip为 192.168.1.121 这台),然后在该主机的
[/code]
完成后,如下图所示(/etc/hosts 中只能有一个127.0.0.1,对应为localhost,否则会出错)。最好重启一下,在终端中才会看到机器名的变化。
Hadoop中的hosts设置
注意,该网络配置需要在所有主机上进行
如上面讲的是 Master 主机的配置,而在其他的 Slave 主机上,也要对 /etc/hostname(修改为 Slave1、Slave2等) 和 /etc/hosts(一般跟 Master 上的配置一样) 这两个文件进行相应的修改!
配置好后可以在各个主机上执行
ping
这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。
首先生成 Master 的公匙,在 Master 节点终端中执行:
[/code]
Master 节点需能无密码 ssh 本机,这一步还是在 Master 节点上执行:
[/code]
完成后可以使用
[/code]
scp时会要求输入Slave1上hadoop用户的密码(hadoop),输入完成后会提示传输完毕。
接着在
[/code]
如果有其他 Slave 节点,也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。
最后在 Master 节点上就可以无密码SSH到Slave1节点了。
[/code]
集群/分布式模式需要修改 etc/hadoop 中的5个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。
1, 文件
[/code]
将原来
2, 文件
改为下面的配置。后面的配置文件的修改类似。
3, 文件
4, 文件
[/code]
然后配置修改如下:
5, 文件
配置好后,将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行,但会有所不同,如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。
[/code]
在
[/code]
切换 Hadoop 模式应删除之前的临时文件
切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次
然后在
[/code]
通过命令
通过jps查看Master的Hadoop进程
可以看到Master节点启动了
通过jps查看Slave的Hadoop进程
Slave节点则启动了
另外也可以在
通过dfsadmin查看DataNode的状态
通过查看启动日志分析启动失败原因
有时Hadoop集群无法正确启动,如 Master 上的 NameNode 进程没有顺利启动,这时可以查看启动日志来排查原因,不过新手可能需要注意几点:
启动时会提示 “Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,这个看下记录的时间就知道了。
一般出错的提示在最后面,也就是写着 Error 或者 Java 异常的地方。
也可以通过Web页面看到查看DataNode和NameNode的状态,http://master:50070/
关闭Hadoop集群也是在Master节点上执行:
[/code]
执行分布式实例过程与伪分布式模式一样。首先创建所需的几个目录
[/code]
将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。
[/code]
通过查看DataNode的状态(占用大小有改变),输入文件确实复制到了DataNode中。
通过Web页面查看DataNode的状态
接着就可以运行MapReduce作业了。
[/code]
运行时的信息如下所示,显示Job的进度。可能会比较慢,但如果迟迟没有进度,比如10分钟都没看到进度,那不妨重启Hadoop再试试。
显示MapReduce
Job的进度
同样可以通过Web界面查看任务进度 http://master:8088/cluster
通过Web页面集群状态和MapReduce作业的信息
在 Web 界面点击 “Tracking UI” 这一列的 History,可能会提示网页无法打开,遇到这种情况需要手动开启 jobhistory server,开启之后刷新页面再点击就可以打开了。
[/code]
执行完毕后的输出结果:
MapReduce作业的输出结果
使用Eclipse编译运行MapReduce程序: 用文本编辑器写 Java 程序是不靠谱的,还是用
Eclipse 比较方便。
使用命令行编译打包运行自己的MapReduce程序: 有时候需要直接通过命令来编译 MapReduce
程序。
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html
转载自:Hadoop集群安装配置教程_Hadoop2.6.0/Ubuntu 14.04
环境
本教程使用 Ubuntu 14.04 64位 作为系统环境(Ubuntu 12.04 也行,32位、64位均可),请自行安装系统。如果必须使用 RedHat、CentOS 等,本教程也可以作为参考,配置是相似的,就是 Linux 命令、具体操作有所不同。本教程基于原生 Hadoop 2,在 Hadoop 2.6.0 (stable) 版本下验证通过,可适合任何 Hadoop 2.x.y 版本,例如 Hadoop 2.4.1。
本教程所使用的集群环境: 两台主机,一台作为 Master,局域网 IP 为 192.168.1.121;另一台作为 Slave,局域网 IP 为 192.168.1.122。
准备工作
Hadoop 集群的安装配置大致为如下流程:选定一台机器作为 Master
在 Master 主机上配置hadoop用户、安装SSH server、安装Java环境
在 Master 主机上安装Hadoop,并完成配置
在其他主机上配置hadoop用户、安装SSH server、安装Java环境
将 Master 主机上的Hadoop目录复制到其他主机上
开启、使用 Hadoop
配置hadoop用户、安装SSH server、安装Java环境、安装Hadoop已经在Hadoop安装教程_单机/伪分布式配置中有详细介绍,请前往浏览,不再重复叙述。
强烈建议新手先按照上述教程在 Master 主机上安装一次伪分布式环境的 Hadoop,毕竟平时写程序,还是会先在伪分布式环境下进行调试的。待伪分布式能够正常使用后,再继续浏览本教程后续的集群配置。
网络配置
在 Master 主机上完成伪分布式配置后,请先关闭 Hadoop (/usr/local/hadoop/sbin/stop-dfs.sh),再进行后续集群配置。
我这边是使用了两台主机搭建集群,主机名与IP地址对应如下:
Master 192.168.1.121 Slave1 192.168.1.122
首先选定哪台主机要作为Master(比如我选择的是ip为 192.168.1.121 这台),然后在该主机的
/etc/hostname中,修改机器名为Master,将其他主机命令为Slave1、Slave2等。接着在
/etc/hosts中,把所有集群的主机信息都写进去。
sudo vim /etc/hostname # 在此处修改主机名
sudo vim /etc/hosts # 在此处修改主机与 IP 的映射关系
[/code]
完成后,如下图所示(/etc/hosts 中只能有一个127.0.0.1,对应为localhost,否则会出错)。最好重启一下,在终端中才会看到机器名的变化。
Hadoop中的hosts设置
注意,该网络配置需要在所有主机上进行
如上面讲的是 Master 主机的配置,而在其他的 Slave 主机上,也要对 /etc/hostname(修改为 Slave1、Slave2等) 和 /etc/hosts(一般跟 Master 上的配置一样) 这两个文件进行相应的修改!
配置好后可以在各个主机上执行
ping Master和
ping Slave1测试一下,看是否相互ping得通。
ping
SSH无密码登陆节点
这个操作是要让Master节点可以无密码SSH登陆到Slave节点上。首先生成 Master 的公匙,在 Master 节点终端中执行:
cd ~/.ssh # 如果没有该目录,先执行一次ssh localhost
ssh-keygen -t rsa # 一直按回车就可以,生成的密钥保存为.ssh/id_rsa
[/code]
Master 节点需能无密码 ssh 本机,这一步还是在 Master 节点上执行:
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
[/code]
完成后可以使用
ssh Master验证一下。接着将公匙传输到 Slave1 节点:
scp ~/.ssh/id_rsa.pub hadoop@Slave1:/home/hadoop/
[/code]
scp时会要求输入Slave1上hadoop用户的密码(hadoop),输入完成后会提示传输完毕。
接着在
Slave1节点上将ssh公匙保存到相应位置,执行
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[/code]
如果有其他 Slave 节点,也要执行 将公匙传输到 Slave 节点、在 Slave 节点上加入授权 这两步。
最后在 Master 节点上就可以无密码SSH到Slave1节点了。
ssh Slave1
[/code]
配置集群/分布式环境
集群/分布式模式需要修改 etc/hadoop 中的5个配置文件,后四个文件可点击查看官方默认设置值,这里仅设置了正常启动所必须的设置项: slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。1, 文件
slave
cd /usr/local/hadoop/etc/hadoop
vim slaves
[/code]
将原来
localhost删除,把所有Slave的主机名写上,每行一个。例如我只有一个 Slave节点,那么该文件中就只有一行内容: Slave1。
2, 文件
core-site.xml,将原本的如下内容:
<property> </property>
改为下面的配置。后面的配置文件的修改类似。
<property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>Abase for other temporary directories.</description> </property>
3, 文件
hdfs-site.xml,因为只有一个Slave,所以
dfs.replication的值设为1。
<property> <name>dfs.namenode.secondary.http-address</name> <value>Master:50090</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property>
4, 文件
mapred-site.xml,这个文件不存在,首先需要从模板中复制一份:
cp mapred-site.xml.template mapred-site.xml
[/code]
然后配置修改如下:
<property> <name>mapreduce.framework.name</name> <value>yarn</value> </property>
5, 文件
yarn-site.xml:
<property> <name>yarn.resourcemanager.hostname</name> <value>Master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property>
配置好后,将 Master 上的 Hadoop 文件复制到各个节点上(虽然直接采用 scp 复制也可以正确运行,但会有所不同,如符号链接 scp 过去后就有点不一样了。所以先打包再复制比较稳妥)。因为之前有跑过伪分布式模式,建议在切换到集群模式前先删除之前的临时文件。
cd /usr/local
rm -r ./hadoop/tmp # 删除 Hadoop 临时文件
sudo tar -zcf ./hadoop.tar.gz ./hadoop
scp ./hadoop.tar.gz Slave1:/home/hadoop
[/code]
在
Slave1上执行:
sudo tar -zxf ~/hadoop.tar.gz -C /usr/local
sudo chown -R hadoop:hadoop /usr/local/hadoop
[/code]
切换 Hadoop 模式应删除之前的临时文件
切换 Hadoop 的模式,不管是从集群切换到伪分布式,还是从伪分布式切换到集群,如果遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。或者可以为集群模式和伪分布式模式设置不同的临时文件夹(未验证)。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Slave 节点)上的 tmp 文件夹,重新执行一次
bin/hdfs namenode -format,再次启动试试。
然后在
Master节点上就可以启动hadoop了。
cd /usr/local/hadoop/
bin/hdfs namenode -format # 首次运行需要执行初始化,后面不再需要
sbin/start-dfs.sh
sbin/start-yarn.sh
[/code]
通过命令
jps可以查看各个节点所启动的进程。
通过jps查看Master的Hadoop进程
可以看到Master节点启动了
NameNode、
SecondrryNameNode、
ResourceManager进程。
通过jps查看Slave的Hadoop进程
Slave节点则启动了
DataNode和
NodeManager进程。
另外也可以在
Master节点上通过命令
bin/hdfs dfsadmin -report查看DataNode是否正常启动。例如我这边一共有1个Datanodes。
通过dfsadmin查看DataNode的状态
通过查看启动日志分析启动失败原因
有时Hadoop集群无法正确启动,如 Master 上的 NameNode 进程没有顺利启动,这时可以查看启动日志来排查原因,不过新手可能需要注意几点:
启动时会提示 “Master: starting namenode, logging to /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.out”,但其实启动日志信息是记录在 /usr/local/hadoop/logs/hadoop-hadoop-namenode-Master.log 中;
每一次的启动日志都是追加在日志文件之后,所以得拉到最后面看,这个看下记录的时间就知道了。
一般出错的提示在最后面,也就是写着 Error 或者 Java 异常的地方。
也可以通过Web页面看到查看DataNode和NameNode的状态,http://master:50070/
关闭Hadoop集群也是在Master节点上执行:
sbin/stop-dfs.sh
sbin/stop-yarn.sh
[/code]
执行分布式实例
执行分布式实例过程与伪分布式模式一样。首先创建所需的几个目录bin/hdfs dfs -mkdir -p /user/hadoop
[/code]
将etc/hadoop中的文件作为输入文件复制到分布式文件系统中。
bin/hdfs dfs -put etc/hadoop input
[/code]
通过查看DataNode的状态(占用大小有改变),输入文件确实复制到了DataNode中。
通过Web页面查看DataNode的状态
接着就可以运行MapReduce作业了。
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.1.jar grep input output 'dfs[a-z.]+'
[/code]
运行时的信息如下所示,显示Job的进度。可能会比较慢,但如果迟迟没有进度,比如10分钟都没看到进度,那不妨重启Hadoop再试试。
显示MapReduce
Job的进度
同样可以通过Web界面查看任务进度 http://master:8088/cluster
通过Web页面集群状态和MapReduce作业的信息
在 Web 界面点击 “Tracking UI” 这一列的 History,可能会提示网页无法打开,遇到这种情况需要手动开启 jobhistory server,开启之后刷新页面再点击就可以打开了。
/usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver
[/code]
执行完毕后的输出结果:
MapReduce作业的输出结果
相关教程
使用Eclipse编译运行MapReduce程序: 用文本编辑器写 Java 程序是不靠谱的,还是用Eclipse 比较方便。
使用命令行编译打包运行自己的MapReduce程序: 有时候需要直接通过命令来编译 MapReduce
程序。
参考资料
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/ClusterSetup.html转载自:Hadoop集群安装配置教程_Hadoop2.6.0/Ubuntu 14.04
相关文章推荐
- Opencv学习手册(一)--- 图像文件读入和显示
- 让aop应用于controller
- linux使用FIO测试磁盘的iops
- 第121讲:Hadoop集群的格式化、集群运行实战解析等学习笔记
- 第120讲:Hadoop的MapReduce和Yarn的配置实战详解学习笔记
- Linux下system和exec函数族的区别
- 面向业务的立体化高可用架构设计
- Linux进程间通信——使用命名管道
- hadoop源码学习(一)--configuration类详解
- linux下监控是否有IO
- Linux进程间通信——使用匿名管道
- linux gdb调试
- Linux进程间通信——使用信号
- Linux进程间通信——使用流套接字
- CDH运维问题列表
- 文本挖掘之文本聚类(OPTICS)
- linux 下source、sh、bash、./执行脚本的区别
- Linux进程间通信——使用消息队列
- gitlab安装centos7
- linux下X86架构IDT解析