Linux uniq命令
2013-09-25 00:44
369 查看
uniq命令
文件经过处理后在它的输出文件中可能会出现重复的行。例如:使用cat命令将两个文件合并后,再使用sort命令排序,就可能会出现重复的行。这时可以使用uniq命令将这些重复行从输出文件中删除,只留下每条记录的唯一样本和出现次数。需要注意以下两点:对文本操作时,它一般会和sort命令进行组合使用,因为uniq不会检查重复的行,除非它们是相邻的行
对文本操作时,若域中为先空字符(通常包括空格以及制表符),然后非空字符,域中字符前的空字符将被跳过
参数
用法 uniq [选项] [文件]-c 显示输出中,在每行行首加上本行在文件中出现的次数
-d 只显示重复行
-u 只显示文件中不重复的各行
示例
测试文件排序去重,并且获取重复行的次数
开始例子证明了,数据去重前,最好先用sort进行排序
阿里面试题目:100M文件里,获取重复次数最多的10个数
相关文章推荐
- 【内核】linux内核启动流程详细分析
- linux内核在Uncompressing Linux... done, booting the kernel中卡住的原因
- 初识Linux_3
- 初识Linux—3
- ext3grep恢复Linux下误删除的文件
- Raspbian 2018-10-09发布,由Linux 4.14.71 LTS内核提供支持
- 怎样在 CentOS 7.0 上安装和配置 VNC 服务器
- Linux Mint将tty提示信息变为英文的
- [Linux]How to alloc memory (kmalloc) in Linux ISR
- Debian 安装无线网卡驱动最简单方法。
- Linux 修改IP地址和网关
- 关于嵌入式linux开发环境搭建-TFTP,SAMBA,NFS服务器的搭建
- Linux 的启动流程
- 开始体验Kali Linux
- linux make
- LINUX下多路径(multi-path)介绍及使用
- LINUX下多路径(multi-path)介绍及使用
- Linux系统守护进程详解ntsysv 可以关掉那些服务
- LInux 初学者日记【第三篇】
- linux系统命令 shopt