linux 命令 — sort、uniq

sort uniq

sort：对行或者文本文件排序

uniq：去除重复的行

常用

sort -n file.txt

按数字进行排序

sort -r file.txt

按逆序进行排序

sort -M file.txt

按月份进行排序

sort -C file

如果返回0表示已经排序

sort -nC file

返回0表示已经按照数字排序

sort -m sorted_file1 sorted_file2

合并两个已经排过序的文件，而且不需要对合并后的文件再次排序

按键或者列进行排序

sort -nrk 1 data.txt

-n，表示按照数字排序，-r表示使用逆序，-k n表示选择第n列进行排序

sort -nk 1, 2 file

按照第1-2两个字符进行排序，-k n1, n2 可以指定排序的键值

sort -z file

排序之后使用'\0'作为分隔符

uniq

uniq只能用于排过序的输入

sort unsort.txt | uniq

sort -u unsort.txt

uniq sorted.txt

sort unsorted.txt | uniq -c

统计各行在文件中出现的次数

sort unsorted.txt | uniq -d

找出文件中重复的行

sort data.txt | uniq -s 2 -w 3

将排序后文件中第3-6个字符作为键进行唯一值过滤，-s n 表示跳过前n个字符，-w m 表示选择的字符个数

uniq -z sorted.txt

输出内容使用"\0"作为分隔符

使用uniq生成字符串样式

输入：ahebhaaa

输出：4a1b1e2h

echo "ahebhaaa" | sed 's/[^.]/&\n/g' | sed '/^$/d' | sort | uniq -c | tr -d ' \n'

sed 's/[^.]/&\n/g': 将每一个字符后面追加一个换行符（将所有的字符使用该字符加"\n"替换），"&"表示前面正则表达式中匹配到的内容，这里也就是一个字符

sed '/^$/d': 搜索所有的空行并删除

sort: 按照字母表顺序排序

uniq -c: 统计每个字符出现的次数

tr -d ' \n': 删除空格和换行