hadoop ha故障问题处理
2017-04-26 10:01
459 查看
问题描述:journalnode节点的editlog日志目录被其它应用日志占满;导致active nn 无法向 journalnode写入editlog,导致集群宕机;
解决思路:
HA的工作流程:集群启动后一个NN处于active状态,并提供服务,处理客户端和datanode的请求,并把editlog写到本地和share
editlog(jounalnode)。另外一个NN处于Standby状态,它启动的时候加载fsimage,然后周期性的从share editlog中获取editlog,保持与active的状态同步。并且为了实现热备,增加FailoverController和ZK,FailoverController与ZK通信,通过ZK选主,ZK上会为active nn生成一个znode,FailoverController通过RPC让NN转换为active或standby。
1、确认集群宕机之前谁是active nn,查看两个nn节点的editlog哪个的txid更大(每条editlog都有一个txid,且连续的),更大的则为最好的宕机前的active NN
2、确认完第一步后,将active NN的所有editlog 拷贝到另一个nn节点的editlog目录;并且将editlog拷贝到所有的journalnode节点目录
3、清除ha在zk上的znode节点
sudo -u hdfs hdfs zkfc -formatZK
4、重启hadoop后,将nn退出安全模式
5、集群开始恢复,有丢失的块,可以删除或者恢复。具体网上查
6、启动hbase,修复分区
备注:解决过程中可能会遇到很多坑,每个组件都可能启不来,具体可查看namenode、datanode、journalnode,FailoverController的日志来确认问题并逐一解决。
解决思路:
HA的工作流程:集群启动后一个NN处于active状态,并提供服务,处理客户端和datanode的请求,并把editlog写到本地和share
editlog(jounalnode)。另外一个NN处于Standby状态,它启动的时候加载fsimage,然后周期性的从share editlog中获取editlog,保持与active的状态同步。并且为了实现热备,增加FailoverController和ZK,FailoverController与ZK通信,通过ZK选主,ZK上会为active nn生成一个znode,FailoverController通过RPC让NN转换为active或standby。
1、确认集群宕机之前谁是active nn,查看两个nn节点的editlog哪个的txid更大(每条editlog都有一个txid,且连续的),更大的则为最好的宕机前的active NN
2、确认完第一步后,将active NN的所有editlog 拷贝到另一个nn节点的editlog目录;并且将editlog拷贝到所有的journalnode节点目录
3、清除ha在zk上的znode节点
sudo -u hdfs hdfs zkfc -formatZK
4、重启hadoop后,将nn退出安全模式
5、集群开始恢复,有丢失的块,可以删除或者恢复。具体网上查
6、启动hbase,修复分区
备注:解决过程中可能会遇到很多坑,每个组件都可能启不来,具体可查看namenode、datanode、journalnode,FailoverController的日志来确认问题并逐一解决。
相关文章推荐
- Hadoop关于处理大量小文件的问题和解决方法
- hadoop0.20.2下相关问题处理方法
- hadoop安装部署遇到问题,故障排查
- Hadoop关于处理大量小文件的问题和解决方法
- IIS故障问题(Connections_Refused)分析及处理【转】
- DB2 故障处理的思路及一般问题的解决办法
- IIS故障问题(Connections_Refused)分析及处理
- hadoop的安全问题处理
- IIS故障(Connections_Refused)问题分析及处理
- Chukwa集成Hadoop如何处理IPC版本兼容问题
- DB2 故障处理的思路及一般问题的解决办法
- hadoop 安装出现的几种异常的处理方法,hadoop无法启动,no namenode to stop问题的解决方法,no datanode
- Oralce常见故障问题处理总结
- 解决Hadoop无法处理中文问题
- IIS故障(Connections_Refused)问题分析及处理
- Hadoop关于处理大量小文件的问题和解决方法
- 联想R400“显示器驱动程序已停止响应 并且已成功恢复”问题故障处理方法
- 找到问题的真正原因:20121021服务器故障处理经历
- VRRP故障问题处理
- (转载)Hadoop关于处理大量小文件的问题和解决方法