HDFS空间占用问题解决
2017-03-29 20:29
2066 查看
经过一段时间的使用发现原本存入HDFS的数据量不是很大,但是50多个T的存储空间缺被占满了,
解决:
hadoop fs -du -h /
使用该命令查看HDFS中文件占用的大小,发现/tmp目录占用较大,如下:
在查看/tmp中的文件;hadoop fs -du -h /tmp:
发现/tmp目录下就是一些,临时的文件,包括HDFS中一些用户使用HIve和运行MR的日志,将其中的部分数据删除即可,经测试,删除/tmp/hive和/tmp/logs目录下的某些用户的缓存文件不会影响正常使用。
此外,据了解,CDH中有相关的配置项可以避免该问题的产生,从根本上解决这类问题,目前本人尚在尝试,待补充,,,,
解决:
hadoop fs -du -h /
使用该命令查看HDFS中文件占用的大小,发现/tmp目录占用较大,如下:
在查看/tmp中的文件;hadoop fs -du -h /tmp:
发现/tmp目录下就是一些,临时的文件,包括HDFS中一些用户使用HIve和运行MR的日志,将其中的部分数据删除即可,经测试,删除/tmp/hive和/tmp/logs目录下的某些用户的缓存文件不会影响正常使用。
此外,据了解,CDH中有相关的配置项可以避免该问题的产生,从根本上解决这类问题,目前本人尚在尝试,待补充,,,,
相关文章推荐
- hbase-1.1.2的oldWALs占用过大hdfs空间问题的解决
- 【转】ArcGIS问题:清除arcsde空间垃圾数据以及解决sde图层名称被占用的问题
- 解决MongoDB 日志文件过大,清理后还占用很大磁盘空间的问题
- 亲测解决Vmware12中Ubuntu14.04占用空间大的问题
- Linux解决删除文件后空间没有释放问题_端口占用问题
- Linux系统下提示磁盘空间满,但实际占用却很小问题解决
- 清除arcsde空间垃圾数据以及解决sde图层名称被占用的问题
- 清除arcsde空间垃圾数据以及解决sde图层名称被占用的问题
- 解决防火墙因存储空间被过多的更新包占用导致无法升级的问题
- 压缩Sqlite数据文件大小,解决数据删除后占用空间不变的问题
- 【转】ArcGIS问题:清除arcsde空间垃圾数据以及解决sde图层名称被占用的问题
- 解决ListView header和footer隐藏仍占用界面空间的问题
- 转:清除arcsde空间垃圾数据以及解决sde图层名称被占用的问题
- 解决VS生成sdf和ipch文件太大占用空间问题
- 解决SQL SERVER 2008数据库 日志文件占用硬盘空间问题
- 维护Exchange Server 2003 邮件服务器(解决邮箱存储占用空间过大问题)
- 清除arcsde空间垃圾数据以及解决sde图层名称被占用的问题
- 解决linux系统下分区文件占用总空间比实际分区总容量要小却提示磁盘空间已满的问题
- filebeat占用Linux空间未释放的问题解决
- 解决mac系统占用空间太大的问题