HMaster和HRegionServer启动后突然消失
2016-03-11 15:49
288 查看
在启动HBase的时候master节点的HMaster和Slave节点的HRegionServer启动一段时间后会突然消失。网上搜了一天之后无果,第二天在启动 hadoop的时候发现是hadoop的问题。
问题后来发现是Slave节点的datanode与主节点的? 版本不一致。
hdfs-site.xml中的配置文件如下:
<span style="white-space:pre"> </span><property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
在Master点/usr/local/hadooop/tmp/dfs/name/current下有个VERSION文件:
#Thu Mar 10 23:28:08 PST 2016
namespaceID=1262338198
clusterID=CID-107f3537-7ca0-4c34-9852-36bc5ba23e9c
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1913415107-192.168.0.154-1457674199334
layoutVersion=-60
在Slave节点的/usr/local/hadooop/tmp/dfs/data/current路径下也有VERSION文件:
#Thu Mar 10 23:28:13 PST 2016
storageID=DS-2ae53668-1467-498e-8c48-798282d531ad
clusterID=CID-107f3537-7ca0-4c34-9852-36bc5ba23e9c
cTime=0
datanodeUuid=695f2f7d-478a-49c9-bb02-420e33ca7781
storageType=DATA_NODE
layoutVersion=-56
如果两个文件的clusterID不一致的话那么删除Slave节点的VERSION文件。要不要重新格式化hdfs忘记了,好像是不用....
然后再start-dfs.sh start-yarn.sh star-hbase.sh依次启动(HBase 1.0.0版本内置的zookeeper)。之后就能看到HMaster HRegionServer正常启动了。
昨天一直以为是NTP服务没有装导致的,看来可能不是这个原因。
问题后来发现是Slave节点的datanode与主节点的? 版本不一致。
hdfs-site.xml中的配置文件如下:
<span style="white-space:pre"> </span><property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
在Master点/usr/local/hadooop/tmp/dfs/name/current下有个VERSION文件:
#Thu Mar 10 23:28:08 PST 2016
namespaceID=1262338198
clusterID=CID-107f3537-7ca0-4c34-9852-36bc5ba23e9c
cTime=0
storageType=NAME_NODE
blockpoolID=BP-1913415107-192.168.0.154-1457674199334
layoutVersion=-60
在Slave节点的/usr/local/hadooop/tmp/dfs/data/current路径下也有VERSION文件:
#Thu Mar 10 23:28:13 PST 2016
storageID=DS-2ae53668-1467-498e-8c48-798282d531ad
clusterID=CID-107f3537-7ca0-4c34-9852-36bc5ba23e9c
cTime=0
datanodeUuid=695f2f7d-478a-49c9-bb02-420e33ca7781
storageType=DATA_NODE
layoutVersion=-56
如果两个文件的clusterID不一致的话那么删除Slave节点的VERSION文件。要不要重新格式化hdfs忘记了,好像是不用....
然后再start-dfs.sh start-yarn.sh star-hbase.sh依次启动(HBase 1.0.0版本内置的zookeeper)。之后就能看到HMaster HRegionServer正常启动了。
昨天一直以为是NTP服务没有装导致的,看来可能不是这个原因。
相关文章推荐
- 详解HDFS Short Circuit Local Reads
- Hadoop_2.1.0 MapReduce序列图
- 使用Hadoop搭建现代电信企业架构
- Facebook's New Real-time Messaging System: HBase to Store 135+ Billion Messages a Month
- 单机版搭建Hadoop环境图文教程详解
- Hadoop生态上几个技术的关系与区别:hive、pig、hbase 关系与区别
- hadoop常见错误以及处理方法详解
- 基于HBase Thrift接口的一些使用问题及相关注意事项的详解
- hadoop 单机安装配置教程
- hadoop的hdfs文件操作实现上传文件到hdfs
- hadoop实现grep示例分享
- Apache Hadoop版本详解
- linux下搭建hadoop环境步骤分享
- 如何解决struts2日期类型转换
- 基于Java实现杨辉三角 LeetCode Pascal's Triangle
- hadoop client与datanode的通信协议分析
- hadoop中一些常用的命令介绍
- Hadoop单机版和全分布式(集群)安装
- 用PHP和Shell写Hadoop的MapReduce程序
- hadoop map-reduce中的文件并发操作