hadoop DataNode节点超时
2016-06-25 19:36
537 查看
DataNode节点超时时间设置
DataNode进程死亡或网络节点故障造成DataNode无法与NameNode通信,NameNode不会立即把该节点判定为死亡,要经过一段时间,这段时间成为超时时长。HDFS默认的超时时长为10分钟+30s。
如果定义超时时长为timeout,则超时时长的计算公式为:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
默认的heartbeat.recheck.interval为5分钟(单位:毫秒)
dfs.heartbeat.interval为3秒(单位:秒)
在hdfs-site.xml中设置。
HDFS冗余数据块的自动删除
在DataNode被判定死亡之后,HDFS马上开始数据块的容错拷贝。
当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数,这些多余的数据块经过很长一段时间才会被完全删掉,这个时间取决于hdfs-site.xml中的dfs.blockreport.intervalMsec参数。默认为一小时。
转载自http://blog.csdn.net/beidiqiuren/article/details/51759612
DataNode进程死亡或网络节点故障造成DataNode无法与NameNode通信,NameNode不会立即把该节点判定为死亡,要经过一段时间,这段时间成为超时时长。HDFS默认的超时时长为10分钟+30s。
如果定义超时时长为timeout,则超时时长的计算公式为:
timeout = 2 * heartbeat.recheck.interval + 10 * dfs.heartbeat.interval
默认的heartbeat.recheck.interval为5分钟(单位:毫秒)
dfs.heartbeat.interval为3秒(单位:秒)
在hdfs-site.xml中设置。
HDFS冗余数据块的自动删除
在DataNode被判定死亡之后,HDFS马上开始数据块的容错拷贝。
当该节点重新添加到集群中时,由于该节点上的数据其实并没有损坏,所以造成了HDFS上某些block的备份数超过了设定的备份数,这些多余的数据块经过很长一段时间才会被完全删掉,这个时间取决于hdfs-site.xml中的dfs.blockreport.intervalMsec参数。默认为一小时。
转载自http://blog.csdn.net/beidiqiuren/article/details/51759612
相关文章推荐
- hadoop client与datanode的通信协议分析
- 【原创】centos自带网卡驱动不兼容硬件,造成hadoop的datanode节点频繁宕机的解...
- DataNode引用计数磁盘选择策略
- Hadoop Cluster启动后数据节点(Datanode)进程状态丢失
- hadoop block源代码分析DataNode部分(一)
- Hadoop2.4.0启动之后,DataNode没有启动
- Hadoop集群所有的DataNode都启动不了解决办法
- Hadoop 生产环境集群平滑下线节点(datanode/tasktracker or nodemanager)
- (Hadoop datanode 问题)There are 0 datanode(s) running and no node(s) are excluded in this operation
- HDFS DataNode 设计实现解析
- [转载]hadoop datanode 节点重启步骤
- hadoop datanode节点超时时间设置
- hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
- Hadoop学习之HDFS架构(二)
- [Hadoop] HDFS架构设计
- hadoop2.x.x格式化遇到的问题
- Hadoop datanode重新加载失败 无法启动解决步骤
- Hadoop配置datanode无法连接到master
- hadoop启动异常:UnregisteredDatanodeException
- Error: org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block: BP-965200530-172.21.