start-dfs datanode没启动起来,异常java.io.IOException: Incompatible clusterIDs in
2016-10-14 10:25
621 查看
[zzq@weekend110 app]$ cat /home/zzq/app/hadoop/hadoop-2.4.1/data/dfs/data/current/VERSION
#Mon Oct 10 02:10:19 PDT 2016
storageID=DS-ae5abbe8-c187-4e58-b050-81b7def58776
clusterID=CID-18605df2-4c30-41ba-80dd-4127be0db4b4
cTime=0
datanodeUuid=45734385-9901-427c-98ee-c53496ea8f4a
storageType=DATA_NODE
layoutVersion=-55
今天启动Hadoop,执行完start-dfs.sh后,用jps查看进程,datenode没有启动成功
于是找到datanode的日志查看
意思已经很明显了是两个id不相等,在网上查了一下,网上说的是格式化,问题依旧没解决,而且这个办法在实际生产中并不科学,下面看一种比较好的解决办法,去修改clusterID让他们的值相等就可以了。
查看core-site.xml,找到存namenode元数据和datanode元数据的路径。
在这个路径/home/zzq/app/hadoop/hadoop-2.4.1/data下去找namenode和datanode的VERSION文件
[zzq@weekend110 app]$ cat /home/zzq/app/hadoop/hadoop-2.4.1/data/dfs/data/current/VERSION
#Mon Oct 10 02:10:19 PDT 2016
storageID=DS-ae5abbe8-c187-4e58-b050-81b7def58776
clusterID=CID-18605df2-4c30-41ba-80dd-4127be0db4b4
cTime=0
datanodeUuid=45734385-9901-427c-98ee-c53496ea8f4a
storageType=DATA_NODE
layoutVersion=-55
改了之后成功启动了
#Mon Oct 10 02:10:19 PDT 2016
storageID=DS-ae5abbe8-c187-4e58-b050-81b7def58776
clusterID=CID-18605df2-4c30-41ba-80dd-4127be0db4b4
cTime=0
datanodeUuid=45734385-9901-427c-98ee-c53496ea8f4a
storageType=DATA_NODE
layoutVersion=-55
今天启动Hadoop,执行完start-dfs.sh后,用jps查看进程,datenode没有启动成功
于是找到datanode的日志查看
意思已经很明显了是两个id不相等,在网上查了一下,网上说的是格式化,问题依旧没解决,而且这个办法在实际生产中并不科学,下面看一种比较好的解决办法,去修改clusterID让他们的值相等就可以了。
查看core-site.xml,找到存namenode元数据和datanode元数据的路径。
在这个路径/home/zzq/app/hadoop/hadoop-2.4.1/data下去找namenode和datanode的VERSION文件
[zzq@weekend110 app]$ cat /home/zzq/app/hadoop/hadoop-2.4.1/data/dfs/data/current/VERSION
#Mon Oct 10 02:10:19 PDT 2016
storageID=DS-ae5abbe8-c187-4e58-b050-81b7def58776
clusterID=CID-18605df2-4c30-41ba-80dd-4127be0db4b4
cTime=0
datanodeUuid=45734385-9901-427c-98ee-c53496ea8f4a
storageType=DATA_NODE
layoutVersion=-55
[zzq@weekend110 app]$ cat /home/zzq/app/hadoop/hadoop-2.4.1/data/dfs/name/current/VERSION #Fri Oct 14 03:20:18 PDT 2016 namespaceID=681718397 clusterID=CID-a562d0d9-7063-47d8-b609-a2103a1a5b8a cTime=0 storageType=NAME_NODE blockpoolID=BP-1458349914-192.168.16.131-1476440418189 layoutVersion=-56只需要把其中一个clusterID改成相同的就可以了
改了之后成功启动了
相关文章推荐
- bug:datanode启动后立刻死掉:java.io.IOException: Incompatible clusterIDs in....
- 5、Hadoop datanode无法启动,报错: java.io.IOException: Incompatible clusterIDs
- DataNode: java.io.IOException: Incompatible namespaceIDs in /dfs/dfs/data: namenode namespaceID = 69
- java.io.IOException: Incompatible namespaceIDs in /usr/hadoop/tmp/dfs/data: namenode namespaceID = 6
- org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /
- org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in
- ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceID
- hadoop 启动报错 Incompatible clusterIDs in /tmp/hadoop-root/dfs/data: namenode
- org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs
- 异常:hadoop 上传文件报错 WARN hdfs.DFSClient: DataStreamer Exception,hadoop datanode 启动不起来
- Hadoop Problem : org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible
- Hadoop datanode 无法启动,报错:java.io.IOException: All specified directories are failed to load.
- 564 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: IOException in offerService java.io.IOExce
- ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceID
- DataNode2: java.io.IOException: Could not find my address: datanode2 in list of ZooKeeper quorum ser
- hadoop配置新节点后,出现 org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible n
- Hadoop Datanode节点无法启动(All directories in dfs.data.dir are invalid)
- java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good
- hadoop启动jobtracker时错误java.io.IOException: Incompatible namespaceIDs的解决方法
- 异常:org.htmlparser.util.ParserException: Error in opening a connection to java.io.IOException: Inv...