获取hdfs没有正常关闭的文件并删除

由于hdfs文件系统中存在损坏的文件导致mapreducejob执行出错：

使用以下命令搜索HDFS文件没有正常关闭的文件：

hadoop fsck /logs/ -files -openforwrite | grep "MISSING"

将搜索到的文件写入文件：

hadoop fsck /logs/ -files -openforwrite | grep "MISSING" > test.txt

test.txt 内容如下：

test_1999-01-11-14.log.14b52615a49ZZ28520@test1.file 2573 bytes, 1 block(s), OPENFORWRITE: MISSING 1 blocks of total size 2573 B

test_1999-01-13-22.log.14b2ab99756ZZ18137@test2.file 897 bytes, 1 block(s), OPENFORWRITE: MISSING 1 blocks of total size 897 B

cat test.txt | awk -F ' ' '{print $1}'

[dataanalyze@n1 ~]$ cat a1.txt | awk -F ' ' '{print $1}'

test_1999-11-17-18.log.14b52615a49ZZ28520@test1.file

test_1999-01-04-22.log.14b2ab99756ZZ18137@test2.file

删除损坏的文件：

testt test.txt | awk -F ' ' '{print $1}' | xargs hdfs dfs -rm {}