find命令删除大量小文件
2015-06-11 02:17
309 查看
在Linux下使用
"rm -rf *" 试图删除非常大量的小文件时,可能会报类似下边的错误:
/bin/rm:
Argument list too long. 这是因为通配符"*"在执行时会被每个匹配的文件名来替换,例如“rm
-rf file1 file2 file3 file4″。系统只分配了一个比较小的缓冲区用来对这个列表进行排序,如果这个缓冲区满了,则shell不能执行这个命令。 为了解决这个问题,很多人使用find命令来操作。即用find查找每一个文件,然后把文件名一个接一个的传递个rm命令,形式如下: find
. -type f -exec rm -v {} \;但是这个方法对于数量巨大的文件时非常缓慢。
google找到了这份blog文章: Deleting tons of files in Linux (Argument list too
long),参考文中的方法解决了我的问题。
办法就是使用find命令内置的 "-delete" 参数 ,使用这种方法删除文件,速度大概是
2000个文件/秒,速度比之前方法得到极大提高。当然也可以加上 "-print"参数来显示每个删除的文件。
find
. -type f -deletefind
. -type d -print -delete
You can also show the filenames as you’re deleting them:
find . -type f -print
-delete
…or even show how many files will be deleted, then time how long it takes to
delete them:
root@devel# ls -1 | wc
-l && time find . -type f -delete
100000
real 0m3.660s
user
0m0.036s
sys 0m0.552s
"rm -rf *" 试图删除非常大量的小文件时,可能会报类似下边的错误:
/bin/rm:
Argument list too long. 这是因为通配符"*"在执行时会被每个匹配的文件名来替换,例如“rm
-rf file1 file2 file3 file4″。系统只分配了一个比较小的缓冲区用来对这个列表进行排序,如果这个缓冲区满了,则shell不能执行这个命令。 为了解决这个问题,很多人使用find命令来操作。即用find查找每一个文件,然后把文件名一个接一个的传递个rm命令,形式如下: find
. -type f -exec rm -v {} \;但是这个方法对于数量巨大的文件时非常缓慢。
google找到了这份blog文章: Deleting tons of files in Linux (Argument list too
long),参考文中的方法解决了我的问题。
办法就是使用find命令内置的 "-delete" 参数 ,使用这种方法删除文件,速度大概是
2000个文件/秒,速度比之前方法得到极大提高。当然也可以加上 "-print"参数来显示每个删除的文件。
find
. -type f -deletefind
. -type d -print -delete
You can also show the filenames as you’re deleting them:
find . -type f -print
-delete
…or even show how many files will be deleted, then time how long it takes to
delete them:
root@devel# ls -1 | wc
-l && time find . -type f -delete
100000
real 0m3.660s
user
0m0.036s
sys 0m0.552s
相关文章推荐
- hadoop配置文件: hdfs-site.xml, mapred-site.xml
- 游戏服务端中使用Servlet和Java注解的一个好设计
- Mac OS X下开发Android用手机调试
- 批处理系统中采用的调度算法
- Format aborted in 格式化namenode 失败的原因
- 写在开始
- 黑马程序员_88_IO中的其他类
- Java Iterator学习小结
- 过滤器解决hibernate中懒加载问题
- linux的服务的永久或临时关闭开启
- about to search or kill the process and the port in the linux
- centos下安装FTP,设置防火墙
- Android Canvas绘图详解(图文)
- 黑马程序员_87_Properties集合
- For CHESHEN
- js 代码片段
- 理解MySQL——架构与概念
- 理解MySQL——架构与概念
- 黑马程序员_86_File类
- @JsonIgnore