安装hadoop2.4.0遇到的问题
2014-06-19 12:40
351 查看
一、执行start-dfs.sh后,datenode没有启动
查看日志如下:2014-06-18 20:34:59,622 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000
java.io.IOException: Incompatible clusterIDs in /usr/local/hadoop/hdfs/data: namenode clusterID = CID-af6f15aa-efdd-479b-bf55-77270058e4f7; datanode clusterID = CID-736d1968-8fd1-4bc4-afef-5c72354c39ce
at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:472)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:225)
at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:249)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:929)
at org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:900)
at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:274)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:220)
at org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:815)
at java.lang.Thread.run(Thread.java:744)
从日志中可以看出,原因是因为datanode的clusterID 和 namenode的clusterID 不匹配。
打开hdfs-site.xml里配置的datanode和namenode对应的目录,分别打开current文件夹里的VERSION,可以看到clusterID项正如日志里记录的一样,确实不一致,修改datanode里VERSION文件的clusterID 与namenode里的一致,再重新启动dfs(执行start-dfs.sh)再执行jps命令可以看到datanode已正常启动。
出现该问题的原因:在第一次格式化dfs后,启动并使用了hadoop,后来又重新执行了格式化命令(hdfs namenode -format),这时namenode的clusterID会重新生成,而datanode的clusterID 保持不变。
相关文章推荐
- hadoop安装部署遇到问题,故障排查
- 单机安装hadoop遇到问题
- 我在安装虚拟机和Hadoop过程中遇到的问题和解决方法
- hadoop安装搭建过程中遇到的问题与解决方案
- hadoop,hbase安装过程中遇到问题及解决过程!
- Windows下Cygwin环境的Hadoop安装(3)- 运行hadoop中的wordcount实例遇到的问题和解决方法
- centos7 安装hadoop 集群遇到的问题
- hadoop安装过程遇到的问题
- Hadoop安装时遇到的一些小问题
- windows平台使用Cygwin安装hadoop遇到的问题
- Ubuntu系统中给eclipse安装hadoop-eclipse插件时遇到的问题
- hadoop集群环境安装 遇到的问题汇总
- centos安装hadoop过程中遇到的其他问题
- hadoop安装过程中所遇到的问题
- Hadoop集群安装遇到的问题
- 在Windows下安装Hadoop环境遇到的问题
- 在Windows下安装Hadoop遇到的几个问题
- Ambari学习13_安装ambari的时候遇到的ambari和hadoop问题集
- 虚拟机群安装多个hadoop集群时遇到的问题
- linux系统安装hadoop-1.2.1遇到的问题【linux本机上的主机名和域名问题、不可以使用默认的localhost;完全没有启动】