HDFS Namenode启动过程
2017-03-17 09:32
302 查看
文章作者:luxianghao
文章来源:http://www.cnblogs.com/luxianghao/p/6564032.html 转载请注明,谢谢合作。
免责声明:文章内容仅代表个人观点,如有不当,欢迎指正。
---
在启动过程中,Namenode在能处理client的请求之前必须完成以下几步:
1 从fsimage文件中读取系统metadata
2 读取edit logs并把记录在其中的操作合并到系统metadata中去
3 生成一个新的checkpoint(新的fsimage必须和旧fsimage加上edit log上操作保持一致)
4 保持safe mode直到Datanodes上报足够数量的block信息
在一些情况下 上面的这些动作会消耗很长时间, eg:
1 edit logs很大,这样读取记录到这里面的操作,合并到system metadata会花费很长时间,当secondary nn长时间不工作的时候,这种情况就会发生,
2 老化的磁盘会拖慢任何受限于io的操作: 读取fsimage,读取 edit logs,生成一个新的checkpoint(包含上面两个动作)
3 当生成一个新的checkpoint的时候,NN会写所有的被配置存储fsimage的位置,这个动作是并行的,但是NN会阻塞直到所有的写操作完成
这就意味着一块慢盘会拖慢整个启动过程
通常管理员在遇到问题的时候会第一时间去看web UI,但是NN在生成一个新的checkpoint之后才会启动 HTTP server,当重启一个NN而且启动过程慢的时候,
在web UI可用之前通常要花费好几分钟,甚至一个小时的时间,也有可能在启动过程中,NN hung住了,但是有经验的工程师,会通过检查thread dumps
来判断NN是否在正常启动
针对上面的这个说的这种不能及时看web UI的情况,HDP 2.0加了一个新的feature来解决这个问题,具体可参考 https://issues.apache.org/jira/browse/HDFS-4249
参考文档:
https://zh.hortonworks.com/blog/understanding-namenode-startup-operations-in-hdfs/
文章来源:http://www.cnblogs.com/luxianghao/p/6564032.html 转载请注明,谢谢合作。
免责声明:文章内容仅代表个人观点,如有不当,欢迎指正。
---
在启动过程中,Namenode在能处理client的请求之前必须完成以下几步:
1 从fsimage文件中读取系统metadata
2 读取edit logs并把记录在其中的操作合并到系统metadata中去
3 生成一个新的checkpoint(新的fsimage必须和旧fsimage加上edit log上操作保持一致)
4 保持safe mode直到Datanodes上报足够数量的block信息
在一些情况下 上面的这些动作会消耗很长时间, eg:
1 edit logs很大,这样读取记录到这里面的操作,合并到system metadata会花费很长时间,当secondary nn长时间不工作的时候,这种情况就会发生,
2 老化的磁盘会拖慢任何受限于io的操作: 读取fsimage,读取 edit logs,生成一个新的checkpoint(包含上面两个动作)
3 当生成一个新的checkpoint的时候,NN会写所有的被配置存储fsimage的位置,这个动作是并行的,但是NN会阻塞直到所有的写操作完成
这就意味着一块慢盘会拖慢整个启动过程
通常管理员在遇到问题的时候会第一时间去看web UI,但是NN在生成一个新的checkpoint之后才会启动 HTTP server,当重启一个NN而且启动过程慢的时候,
在web UI可用之前通常要花费好几分钟,甚至一个小时的时间,也有可能在启动过程中,NN hung住了,但是有经验的工程师,会通过检查thread dumps
来判断NN是否在正常启动
针对上面的这个说的这种不能及时看web UI的情况,HDP 2.0加了一个新的feature来解决这个问题,具体可参考 https://issues.apache.org/jira/browse/HDFS-4249
参考文档:
https://zh.hortonworks.com/blog/understanding-namenode-startup-operations-in-hdfs/
相关文章推荐
- HDFS Namenode启动过程
- hdfs中NameNode启动过程介绍
- 四、HDFS中NameNode的启动过程
- HDFS源码分析之NameNode(1)————启动过程
- HDFS中NameNode启动过程
- HDFS之NameNode的启动过程分析
- NameNode启动过程详细剖析
- Hadoop中NameNode存储的元数据记录和NameNode的启动过程
- HDFS集群的启动(8)——NameNode任务线程之FSNamesystem$SafeModeMonitor
- HDFS集群的启动(7)——NameNode任务线程之FSNamesystem$ReplicationMonitor
- hadoop2.5.2学习及实践笔记(四)—— namenode启动过程源码概览
- HDFS之DataNode启动过程分析
- HDFS集群的启动(6)——NameNode任务线程之PendingReplicationBlocks$PendingReplicationMonitor
- hadoop启动后jps查看总是不显示namenode进程,然后重新格式化hdfs
- Hadoop HDFS Namenode启动不成功
- hadoop namenode启动过程详细剖析及瓶颈分析
- Hdfs NameNode 启动优化
- hadoop namenode启动过程详细剖析及瓶颈分析
- hadoop namenode启动过程详细剖析及瓶颈分析
- HDFS集群的启动(5)——NameNode任务线程之FSNamesystem$HeartbeatMonitor