hive执行任务时异常终止原因分析

异常日志如图所示，在执行任务快结束时，任务异常终止了，通过查看xxxx:8088/cluster页面可以发现任务已终止





根据日志分析发现，异常原因为：could not find any valid local directory for output，猜测应该由于磁盘被占满的原因导致任务无法继续进行。

查看core-site.xml配置，发现hadoop.tmp.dir配置路径为/var/hadoop_tmp，而这个路径的存储空间基本被占满。



进一步分析发现，运行hive任务时，有个目录会存储大量的临时数据：/var/hadoop_tmp/nm-local-dir/usercache/user01/filecache

，该路径是由yarn-site.xml文件的yarn.nodemanager.local-dirs配置的，默认为：${hadoop.tmp.dir}/nm-local-dir。

解决方法：通过在磁盘空余的目录建立cache存储路径，然后软链接到/var/hadoop_tmp/nm-local-dir/usercache/user01/filecache目录，在不改动配置或重启hadoop的情况下解决了问题。