Hadoop学习11--Ha集群配置启动
2016-04-28 18:58
344 查看
理论知识:
http://www.tuicool.com/articles/jameeqm
这篇文章讲的非常详细了:
http://www.tuicool.com/articles/jameeqm
以下是进阶,讲QJM工作原理:
http://www.tuicool.com/articles/eIBB3a
首次启动ha集群过程:
hdfs zkfc -formatZK(这个之前落下了,很重要,如果不注册到zookeeper,那么等于hdfs和zookeeper没产生任何关系)
1、启动journalnode
sbin/hadoop-daemon.sh start journalnode 是每一台journode机器
2、启动namenode
1)格式化bin/hdfs namenode -format
2)启动这个namenode : sbin/hadoop-daemon.sh start namenode
3)格式化另一台namonode bin/hdfs namenode -bootstrapStandby :注意2-3步骤的顺序,使用时,我犯了个错误,把顺序颠倒了,结果,第二台namenode的tem.dir目录一直没有任何文件。
4)启动第二台namenode:sbin/hadoop-daemon.sh start namenode
3、到了这一步对于新手来说有个陷阱。我们在学习的时候,都知道两台namenode一台是active,一台是standby。可是此刻,两台都是standby。
还以为是出了问题,后来终于发现,这里是需要【手动转换】的!
bin/hdfs haadmin -transitionToActive nn1
此时,可以通过之前配置的http地址访问集群了。
http://master:50070
tip:关闭防火墙:sudo ufw disable
4、启动datanode
逐台 sbin/hadoop-daemon start datanode
---------结束
把非Ha集群,转换为Ha集群:(和上面的首次相比,只是步骤二由格式化变成了初始化)
1、启动所有journalnode
sbin/hadoop-daemon start journalnode
2、在其中一台namenode上对journalnode的共享数据进行初始化
bin/hdfs namenode -initializeShareEdits
3、启动这台namenode
sbin/hadoop-daemon start namenode
4、在第二台namenode上同步:
bin/hdfs namenode -bootstrapStandby
5、启动第二台namenode
6、启动所有的datanode
------------结束
一些常用的管理集群的命令:
bin/hdfs haadmin -getServiceStae nn1
bin/hdfs haadmin -failover nn1 nn2
bin/hdfs haadmin transitionActive nn1(不常使用,因为不会运行fence,无法关闭前一个namenode造成脑裂)
bin/hdfs haadmin transitionStandby nn2(不常使用,因为不会运行fence,无法关闭前一个namenode造成脑裂)
bin/hdfs haadmin checkHealth nn2
http://www.tuicool.com/articles/jameeqm
这篇文章讲的非常详细了:
http://www.tuicool.com/articles/jameeqm
以下是进阶,讲QJM工作原理:
http://www.tuicool.com/articles/eIBB3a
首次启动ha集群过程:
hdfs zkfc -formatZK(这个之前落下了,很重要,如果不注册到zookeeper,那么等于hdfs和zookeeper没产生任何关系)
1、启动journalnode
sbin/hadoop-daemon.sh start journalnode 是每一台journode机器
2、启动namenode
1)格式化bin/hdfs namenode -format
2)启动这个namenode : sbin/hadoop-daemon.sh start namenode
3)格式化另一台namonode bin/hdfs namenode -bootstrapStandby :注意2-3步骤的顺序,使用时,我犯了个错误,把顺序颠倒了,结果,第二台namenode的tem.dir目录一直没有任何文件。
4)启动第二台namenode:sbin/hadoop-daemon.sh start namenode
3、到了这一步对于新手来说有个陷阱。我们在学习的时候,都知道两台namenode一台是active,一台是standby。可是此刻,两台都是standby。
还以为是出了问题,后来终于发现,这里是需要【手动转换】的!
bin/hdfs haadmin -transitionToActive nn1
此时,可以通过之前配置的http地址访问集群了。
http://master:50070
tip:关闭防火墙:sudo ufw disable
4、启动datanode
逐台 sbin/hadoop-daemon start datanode
---------结束
把非Ha集群,转换为Ha集群:(和上面的首次相比,只是步骤二由格式化变成了初始化)
1、启动所有journalnode
sbin/hadoop-daemon start journalnode
2、在其中一台namenode上对journalnode的共享数据进行初始化
bin/hdfs namenode -initializeShareEdits
3、启动这台namenode
sbin/hadoop-daemon start namenode
4、在第二台namenode上同步:
bin/hdfs namenode -bootstrapStandby
5、启动第二台namenode
6、启动所有的datanode
------------结束
一些常用的管理集群的命令:
bin/hdfs haadmin -getServiceStae nn1
bin/hdfs haadmin -failover nn1 nn2
bin/hdfs haadmin transitionActive nn1(不常使用,因为不会运行fence,无法关闭前一个namenode造成脑裂)
bin/hdfs haadmin transitionStandby nn2(不常使用,因为不会运行fence,无法关闭前一个namenode造成脑裂)
bin/hdfs haadmin checkHealth nn2
相关文章推荐
- 软件架构(一)
- Linux shell脚本的字符串截取
- Linux下使Shell 命令脱离终端在后台运行
- 王高利:中国Linux开源镜像站大全
- linux shell判断程序是否运行,没有运行则运行程序
- Openstack Cinder 多后端
- zend framework nginx重写
- 项目通过myeclipse 布署到Tomcat 后无JSP等文件
- 软件体系架构的认识
- (zz)Linux下Gcc生成和使用静态库和动态库详解
- Nginx 开启Gzip压缩的方法
- 搭建linux环境问题总结
- linux环境变量文件及配置
- Linux
- 一、Centos6.7编译安装Nginx1.81
- 自定义PopupWindow轻松实现从底部弹出
- 软件架构漫谈--读感
- [转]我在系统设计上犯过的14个错
- 软件体系架构
- Linux上每个SCSI设备的最大LUN数目是多少(by quqi99)