/bin/cat: Argument list too long
2012-03-21 22:28
519 查看
因做一个统计，下载了一个星期的统计日志，
有2000多个文件，每一个文件里面的格式都是一样的，
得先把这些日志文件进行合并，
然后再放到hadhoop上面去运算，问题就这样产生了，
这些日志文件都放在logdeal目录下，我想用 cat/logdeal/* > merge.lst文件里面。
结果就产生了/bin/cat: Argument list too long 这个错误，google了一下，发现是cat文件数目是有多少限制了。
解决办法
用命令 find ./logdeal/ -name *.log | xargs cat > merge.lst
成功的解决了此问题， 以后要处理多个文件，还是用find这种方式来处理
有2000多个文件，每一个文件里面的格式都是一样的，
得先把这些日志文件进行合并，
然后再放到hadhoop上面去运算，问题就这样产生了，
这些日志文件都放在logdeal目录下，我想用 cat/logdeal/* > merge.lst文件里面。
结果就产生了/bin/cat: Argument list too long 这个错误，google了一下，发现是cat文件数目是有多少限制了。
解决办法
用命令 find ./logdeal/ -name *.log | xargs cat > merge.lst
成功的解决了此问题， 以后要处理多个文件，还是用find这种方式来处理
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- -bash: /usr/bin/find: Argument list too long 报错以及linux timestamp为13位的处理方法
- Linux下通过rm -f删除大量文件时提示"-bash: /bin/rm: Argument list too long"的解决方法
- "/bin/rm: argument list too long" 问题解决
- linux 删除大批量文件 /bin/rm: Argument list too long
- -bash: /bin/rm: Argument list too long
- Linux下删除数量比较多的文件报错：-bash: /bin/rm: Argument list too long
- /bin/rm: argument list too long
- /bin/rm: argument list too long 的处理方法
- unable to execute /bin/mv: Argument list too long
- linux删除大量文件时遇 -bash: /bin/rm: Argument list too long 错误
- linux sh: /bin/cp: Argument list too long 问题解决
- linux删除大量文件时遇 -bash: /bin/rm: Argument list too long 错误
- /bin/rm: Argument list too long的解决
- make execvp /bin/bash argument list too long
- /bin/rm: Argument list too long
- -bash: /bin/tar: Argument list too long
- 目录下文件过多删除报错 -bash: /bin/rm: Argument list too long
- 目录下文件过多删除报错 -bash: /bin/rm: Argument list too long
- sh: /bin/cp: Argument list too long
- -bash: /bin/rm: Argument list too long的解决办法【转】