日志切割

数据收集大多数都是通过http协议上报到服务器然记录到日志。

目前在公司是使用nginx收集，然后再用脚本定时将日志打包后再传给另外台服务器清洗数据，数据入库并且统计。

数据上报后，会在nginx的logs目录下生成access.log文件，我们每小时压缩一次这个文件并传给其他服务器处理，脚本如下：

#!/bin/bash

#设置日志文件存放目录

logs_path="/usr/local/nginx/logs/"

#设置pid文件

pid_path="/usr/local/nginx/logs/nginx.pid"

#重命名日志文件

mv ${logs_path}access.log ${logs_path}access_$(date +"%Y%m%d%H").log

#向nginx主进程发信号重新打开日志

kill -USR1 `cat ${pid_path}`

#将日志打包

cd ${logs_path}

tar -zcvf access_$(date +"%Y%m%d%H").tar.gz access_$(date +"%Y%m%d%H").log --remove-files

#日志传给其他服务器

rsync -zvr --bwlimit=2000  ${logs_path}access_$(date +"%Y%m%d%H").tar.gz root@111.111.111.111:/usr/local