您的位置:首页 > 运维架构

HDFS空间占用问题解决

2017-03-29 20:29 2066 查看
经过一段时间的使用发现原本存入HDFS的数据量不是很大,但是50多个T的存储空间缺被占满了,
解决:
hadoop fs -du -h /
使用该命令查看HDFS中文件占用的大小,发现/tmp目录占用较大,如下:



在查看/tmp中的文件;hadoop fs -du -h /tmp



发现/tmp目录下就是一些,临时的文件,包括HDFS中一些用户使用HIve和运行MR的日志,将其中的部分数据删除即可,经测试,删除/tmp/hive/tmp/logs目录下的某些用户的缓存文件不会影响正常使用。
此外,据了解,CDH中有相关的配置项可以避免该问题的产生,从根本上解决这类问题,目前本人尚在尝试,待补充,,,,
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  hadoop
相关文章推荐