Linux sort uniq awk head 完成访问日志统计排序功能
2015-01-29 09:29
1166 查看
我们开发时候经常会统计一些访问日志,访问日志中的url是海量的,并且好多是重复内容。以url为例,统计url中出现频率次数前5的url,并按出现次数的降序排序。
linux命令:cat url.log | sort | uniq -c |sort -n -r -k 1 -t ' ' | awk -F '//' '{print $2}'
现在来一一分析这些命令组合的含义。
0)访问日志样例
![](https://oscdn.geek-share.com/Uploads/Images/Content/201910/29/3903b76708b9bca254d2e883698f4d46)
1) [b][b]cat t1.log[/b][/b]
![](https://oscdn.geek-share.com/Uploads/Images/Content/201910/29/529d938ab6ebf7e32e1f3a85a2e1877d)
表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序(ASCII码)进行排序,这样可以保证重复的记录时相邻的。
2) cat t1.log | sort | uniq -c
![](https://oscdn.geek-share.com/Uploads/Images/Content/201910/29/51340ae9467f9983fa79d7a05ec9ae76)
这里,通过管道(|)将左边部分的命令的输出作为右边部分的输入。uniq -c 表示合并相邻的重复记录,并统计重复数。因为uniq -c 只会合并相邻的记录,所以在使用该命令之前需要先排序。
3) [b]cat t1.log | sort | uniq -c | sort -k 1 -n -r[/b]
![](https://oscdn.geek-share.com/Uploads/Images/Content/201910/29/48d8234f27e0ee0f79bbd89b1176dcfc)
经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n
参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。
4) [b][b]cat t1.log | sort [/b] | uniq -c | sort -k 1 -n -r | awk -F '//' '{print $2}'[/b]
![](https://oscdn.geek-share.com/Uploads/Images/Content/201910/29/70035e8ee521acd2cea4da21a631101d)
经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式,我们需要的结果是192.168.1.100这样的格式,需要去掉http://这些字段,采用awk才处理,awk -F '//' 是将http://192.168.1.100分组成2部分 http:// 和 192.168.1.100,{print $2}的作用是取数组的第二部分,即192.168.1.100
5) [b][b]cat t1.log | sort [/b]| uniq -c | sort -k 1 -n -r | awk -F '//' '{print $2}'| head -5[/b]
![](https://oscdn.geek-share.com/Uploads/Images/Content/201910/29/6880afa3bda3fb67080091a1400fb43c)
head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。
6)上面http://192.168.1.100这样日志格式只是一个简单的示例,实际中的格式会比较复杂 如:/Get http://192.168.1.100 /auth, 我们可以通过awk -F 或者cut -k 命令来截取url。详情参考awk、cut 命令使用方法。
参考文献:http://www.linuxidc.com/Linux/2011-01/31347.htm
linux命令:cat url.log | sort | uniq -c |sort -n -r -k 1 -t ' ' | awk -F '//' '{print $2}'
现在来一一分析这些命令组合的含义。
0)访问日志样例
1) [b][b]cat t1.log[/b][/b]
表示对data文件中的内容进行排序。sort命令是对于每一行的内容根据字典序(ASCII码)进行排序,这样可以保证重复的记录时相邻的。
2) cat t1.log | sort | uniq -c
这里,通过管道(|)将左边部分的命令的输出作为右边部分的输入。uniq -c 表示合并相邻的重复记录,并统计重复数。因为uniq -c 只会合并相邻的记录,所以在使用该命令之前需要先排序。
3) [b]cat t1.log | sort | uniq -c | sort -k 1 -n -r[/b]
经过uniq -c 处理之后的数据格式形如"2 data",第一个字段是数字,表示重复的记录数;第二个字段为记录的内容。我们将对此内容进行排序。sort -k 1表示对于每行的第一个字段进行排序,这里即指代表重复记录数的那个字段。因为sort命令的默认排序是按照ASCII,这就会导致按从大到小进行排序时,数值2会排在数值11的前面,所以需要使用-n
参数指定sort命令按照数值大小进行排序。-r 表示逆序,即按照从大到小的顺序进行排序。
4) [b][b]cat t1.log | sort [/b] | uniq -c | sort -k 1 -n -r | awk -F '//' '{print $2}'[/b]
经过sort data | uniq -c | sort -k 1 -n -r 处理后的文本是 http://192.168.1.100 这样的格式,我们需要的结果是192.168.1.100这样的格式,需要去掉http://这些字段,采用awk才处理,awk -F '//' 是将http://192.168.1.100分组成2部分 http:// 和 192.168.1.100,{print $2}的作用是取数组的第二部分,即192.168.1.100
5) [b][b]cat t1.log | sort [/b]| uniq -c | sort -k 1 -n -r | awk -F '//' '{print $2}'| head -5[/b]
head 命令表示选取文本的前x行。通过head -5 就可以得到排序结果中前五行的内容。
6)上面http://192.168.1.100这样日志格式只是一个简单的示例,实际中的格式会比较复杂 如:/Get http://192.168.1.100 /auth, 我们可以通过awk -F 或者cut -k 命令来截取url。详情参考awk、cut 命令使用方法。
参考文献:http://www.linuxidc.com/Linux/2011-01/31347.htm
相关文章推荐
- Linux sort uniq awk head 完成访问日志统计排序功能
- 使用awk,sort和uniq从ATS访问日志中统计出异常链接域名的次数排名
- 用linux命令分析文件-排序-统计(sort, uniq, awk)
- 用cat、awk、sort、head统计分析nginx访问日志
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- 用linux命令分析文件-排序-统计(sort, uniq, awk)
- Linux 访问日志统计某个字段并排序功能
- Linux去重 排序 计数 分隔 命令 awk sort wc uniq
- awk, uniq, sort统计日志信息
- linux 命令之文件管理命令排序、去重,统计,转换(sort,uniq ,wc ,tr)
- Linux通过日志文件统计IP访问次数排序
- 巧用Linux命令完成统计排序功能yes2
- Linux笔记(shell特殊符号,sort排序,wc统计,uniq去重,tee,tr,split)
- 使用cat,awk和sort命令从nginx访问日志中统计user-agent类型
- linux 管理小命令5—— 排序与统计命令sort wc uniq
- linux基础篇-07,linux文本处理cat more less head tail sort uniq grep cut jion sed awk
- 用awk,sort,uniq统计日志小技巧
- Linux之ubuntu学习笔记(八):linux下的功能指令( find , locate , grep , cut , sort , head , tail,type,which..