Hadoop常见错误之HDFS

Hadoop常见错误之HDFS

1，Datanode启动失败错误 

现象 

在启动Datanode时， /var/log/hadoop-hdfs/hadoop-cmf-hdfs-DATANODE-hadoopserver06.log.out日志文件中有如下错误：



Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to hadoopserver02/192.168.22.150:8022. Exiting. 

ExitCodeException exitCode=1: du: 无法访问"/data/dfs/dn/current/BP-15450043-192.168.22.158-1464844718994/current/finalized/subdir75/subdir189/blk_1078705451_5004348.meta": 输入/输出错误

du: 无法访问"/data/dfs/dn/current/BP-15450043-192.168.22.158-1464844718994/current/finalized/subdir75/subdir189/blk_1078705451": 输入/输出错误

du: 无法访问"/data/dfs/dn/current/BP-15450043-192.168.22.158-1464844718994/current/finalized/subdir75/subdir69/blk_1078674719": 输入/输出错误

at org.apache.hadoop.util.Shell.runCommand(Shell.java:543)
at org.apache.hadoop.util.Shell.run(Shell.java:460)
at org.apache.hadoop.fs.DU.run(DU.java:190)
at org.apache.hadoop.fs.DU.<init>(DU.java:70)
at org.apache.hadoop.fs.DU.<init>(DU.java:95)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.BlockPoolSlice.<init>(BlockPoolSlice.java:135)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeImpl.addBlockPool(FsVolumeImpl.java:818)
at org.apache.hadoop.hdfs.server.datanode.fsdataset.impl.FsVolumeList$2.run(FsVolumeList.java:405)

分析过程 

用root用户登录Datanode节点，进入“/data/dfs/dn/current/BP-15450043-192.168.22.158-1464844718994/current/finalized/subdir15/subdir1”目录，

是文件系统损坏了。 

解决方法 

猜测可能是因为文件系统损坏了，而导致有些数据块不能正常访问。需要执行fsck命令修复文件系统。 由于执行fsck之前，需要先umount对应的挂载点，

而我这个Datanode节点损坏文件夹挂在根目录下，所以我这里先reboot Datanode节点。 

在reboot后，有如下提示信息： 

1直接卸载

 ［root@localhost /］# umount /data1/img

 

2 提示被占用，使用强制卸载

 ［root@localhost /］# umount -f /data1/img

3、使用umount -f，问题依旧。使用fuser命令，先确认有那些进程在占用该目录

  ［root@localhost /］# fuser -cu /data1/img

按照提示，输入root用户密码，并执行如下命令：

fsck -y /dev/mapper/vg_cdhnode12_lv_root 

 

执行完之后，重新reboot机器，问题解决。但是/data/dfs/dn/current/BP-15450043-192.168.22.158-1464844718994/current/finalized/subdir15/subdir1

目录下的blk_1074725217和blk_1074725217_985023.meta文件被删除了，不知这个文件删除是否会影响数据的完整性。如果按照Datanode的复制原则，

我设置了3个复制因子，应该这个block的数据存储在另外两个Datanode节点中。