linux统计cdn日志慢请求
2017-05-15 14:57
381 查看
./stat_ip.sh live-https.log-0510.gz 1000
#首先用shell脚本可以统计出?日志慢请求查询时间超过?秒对应的ip和对应的调用次数(传两个参数)
nohup ./ip_operator.sh preview.log &
将最后解析出的temp2.log和zzz.log数据放在excel进行整合,分列,然后去重,开始快乐的统计之旅吧
#首先用shell脚本可以统计出?日志慢请求查询时间超过?秒对应的ip和对应的调用次数(传两个参数)
#!/bin/bash log=$1 threshold=$2 function define() { ori_log_path="/home/bjliuzezhou/${log}" tmp_log_path="/home/bjliuzezhou/temp.log" tmp_log_path2="/home/bjliuzezhou/temp2.log" confirm_path="/home/bjliuzezhou/previewlist.log" } function gather() { echo 'gather start-----------------------------------------------------------------' zcat ${ori_log_path} | grep 'NewsApp'| grep 'previewlist' | awk '{print $(NF-3),$1}'> ${tmp_log_path} log_num=`cat ${tmp_log_path} | wc -l` request_time=`awk '{print $1}' ${tmp_log_path} | awk '{sum+=$1}END{print sum}'` ave_request_time=`echo | awk "{print ${request_time}/${log_num}}" ` cat ${tmp_log_path} | awk -v th=${threshold} '$1>th {print $2}'> ${tmp_log_path2} log_num2=`cat ${tmp_log_path2} | wc -l` ratio=`echo | awk "{print ${log_num2}/${log_num}}" ` cat ${tmp_log_path2}| sort -n | uniq -c | sort -n > ${confirm_path} # awk -f ip_cn.awk ${confirm_path} rm -f /home/bjliuzezhou/temp.log rm -f /home/bjliuzezhou/temp2.log echo 'gather end--------------------------------------------------------------------' } function output() { echo "request total time is ${request_time}" echo "request total number is ${log_num}" echo "aver request time is ${ave_request_time}" echo "long request total number is ${log_num2}" echo "long request time ratio is ${ratio}" } function main() { define gather output } main
nohup ./ip_operator.sh preview.log &
#然后将ip后8位置为0(原因参照全国ip段划分),统计出ip段以及对应的次数,并且解析出对应的运营商 #参数要传刚获取的preview.log,抓取运营商时间较长,慎重!并且需要注意一个坑,awk脚本中不能执行shell脚本! #!/bin/bash cut -d . -f 1,2,3 $1 > temp.log sed 's/$/&.0/g' temp.log | sort -n | uniq -c > temp2.log awk '{system("sh getip.sh " $3)}' temp2.log > zzz.log rm -rf temp.log
#!/bin/bash echo | curl ip.cn?ip=$1
将最后解析出的temp2.log和zzz.log数据放在excel进行整合,分列,然后去重,开始快乐的统计之旅吧
相关文章推荐
- linux 日志统计
- Linux 下统计用户登录时长——日志分析
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- Linux sort uniq awk head 完成访问日志统计排序功能
- linux 日志统计
- Linux中根据访问日志统计访问量最高的前N个IP
- linux 日志统计
- linux下通过tcpdump统计请求的url
- 一次日志请求次数统计
- linux命令--统计接口日志数目
- Linux下查看access访问日志IP统计命令
- 通过perl统计日志中请求/响应,获取单个用户成功/失败的操作次数。
- Linux sort uniq awk head 完成访问日志统计排序功能
- Linux下安装awstats日志统计分析
- linux下使用awk,wc,sort,uniq,grep对nginx日志进行分析和统计
- Linux下简单的安全日志统计脚本
- Linux下安装awstats日志统计分析
- Linux 访问日志统计某个字段并排序功能
- Linux Awk使用案例总结(nginx日志统计,文件对比合并等)
- 用perl对CDN节点日志进行统计