Linux uniq 命令

2015-08-06 创建

1、概述

  该命令用于去掉文件中相邻数据重复的行，比如第2、3行重复，那么只保留一行。但是如果第2、4行重复，那么就不能去重。【只有相邻并且重复才会去重】。因此可以和sort命令联合使用去重【但是sort命令中，-u 就可以去重了】

2、命令格式

  uniq [OPTION]... [INPUT [OUTPUT]]

3、常用命令参数

  -c, --count    行首显示该行数据出现的次数

  -d, --repeated    只打印重复出现的行

  -f, --skip-fields=N    忽略开始的N个栏位【字段】，之后再比较

  -i, --ignore-case    忽略大小写比较

  -s, --skip-chars=N    忽略开始的N个字符，之后再比较

  -u, --unique    只打印唯一行，重复行不打印

  -w, --check-chars=N    之比较开始的N个字符，之后的不在比较

4、常用示例

  准备数据：

[oldboy@moban ~]$ cat uniq.txt
abcdef
aefweg
abcdef
AbCdEF
zxcvbnm
zxcvbnm
WeR1111
wer1111
qweVVdd
aaaVVdd
abcQWE
abcqwe    示例略……

  
5、命令所在位置和类型

[oldboy@moban ~]$ which uniq
/usr/bin/uniq
[oldboy@moban ~]$ type uniq
uniq is hashed (/usr/bin/uniq)