hadoop常见问题处理

Q:

hadoop fs -ls /

log: FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to localhost/127.0.0.1:9000. Exiting. java.io.IOException: All specified directories are failed to load.

A:

原因：在使用格式化namenode(command: hadoop namenode -format)，会导致datanode和namenode的clusterID不一致.

解决：

（1）根据日志中的路径

vi /appl/hadoop-2.7.0/tmp/dfs/name/current/VERSION

clusterID=CID-37b1b589-5d3b-4148-bd03-64d2163278d8

vi /appl/hadoop-2.7.0/tmp/dfs/data/current/VERSION

将name/current下的VERSION中的clusterID复制到data/current下的VERSION中，目的是让两个保持一致。然后重启。

（2）启动hadoop

sh start-dfs.sh

sh start-yarn.sh

log：/appl/hadoop-2.7.0/logs

（3）测试

hadoop fs -mkdir hdfs://localhost:9000/test/

fs -mkdir test01

hadoop fs -ls /

drwxr-xr-x - root supergroup 0 2016-03-22 17:34 /test

drwxr-xr-x - root supergroup 0 2016-03-22 17:36 /test01