Nginx日志分析解决方案awstats

利用Nginx强大的日志功能可以做非常多的事情，比如点击统计、流量分析、在线人数统计以及其他高级数据挖掘等。

现在简单讲解下日志分析的思路。

 

一，日志的切割

周期性切割日志，比如每天分割一下日志，如果不注意这点日志文件很快就上G，给后续工作带来不便。

分割日志很简单，就是把日志文件复制到别的地方，然后再通知让 Nginx 重新生成日志就可以了。

 

shell脚本如下： 

#!/bin/bash

logs_path="/nginx/logs/"

mv  ${logs_path}access.log   ${logs_path}access_$(date -d "yesterday" +"%Y%m%d").log

kill -USR1 `cat /nginx/logs/nginx.pid`

 

其中 "/nginx/logs" 指的是nginx的log日志文件所在目录，生成的日志文件是以昨天日期命名的。

为了达到每天自动分割的目的，在crontab中加入以下部分：

 

1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh

这样就每天的0点1分把nginx日志重命名为日期格式，并重新生成今天的新日志文件。

 

二，Awstats的配置

日志文件分割好了，接下来就是分析了，也就是工具软件Awstats的使用了。

Awstats的配置文件默认会存储在/etc/awstats/目录下，包括你安装时设置的域名如：awstats.www.xxxxke.com.conf。

在这个配置文件中修改这个地方：
LogFile="/nginx/logs/access_%YYYY-24%MM-24%DD-24.log"
这个意思是要去读取nginx昨天的日志文件，关于后边%YYYY-24%MM-24%DD-24的设置，规则如下：

 

# You can also use tags in this filename if you need a dynamic file name

# depending on date or time (Replacement is made by AWStats at the beginning

# of its execution). This is available tags :

#   %YYYY-n  is replaced with 4 digits year we were n hours ago

#   %YY-n    is replaced with 2 digits year we were n hours ago

#   %MM-n    is replaced with 2 digits month we were n hours ago

#   %MO-n    is replaced with 3 letters month we were n hours ago

#   %DD-n    is replaced with day we were n hours ago

#   %HH-n    is replaced with hour we were n hours ago

#   %NS-n    is replaced with number of seconds at 00:00 since 1970

#   %WM-n    is replaced with the week number in month (1-5)

#   %Wm-n    is replaced with the week number in month (0-4)

#   %WY-n    is replaced with the week number in year (01-52)

#   %Wy-n    is replaced with the week number in year (00-51)

#   %DW-n    is replaced with the day number in week (1-7, 1=sunday)

#                              use n=24 if you need (1-7, 1=monday)

#   %Dw-n    is replaced with the day number in week (0-6, 0=sunday)

#                              use n=24 if you need (0-6, 0=monday)

#   Use 0 for n if you need current year, month, day, hour

 

三，开始分析、生成结果

最后，可以执行分析了。

使用这个命令：

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com

 

这个命令会把结果生成到/var/lib/awstats 目录下 awstatsXXXX.www.XXXX.com.txt文件。

当然这样看起来不太方便，可以再用下面的命令来生成html页面，更加直观。

perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update \

 -config=www.xxxxoke.com -lang=cn \ 

-dir=/html/awstats \

-awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl

 

这样就会在/html/awstats目录下生成很直观的分析结果页。

 

四,自动化

要是每天都去服务器上运行几条命令肯定是件令人烦燥的事情，幸亏Linux的世界里有crontab，

下面是从网友那找的 crontab

 

1 0 * * * sh /home/zyf/sh/cut_nginx_log.sh

0 1 * * * /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=www.xxxxke.com

0 2 * * * perl /usr/local/awstats/tools/awstats_buildstaticpages.pl -update -config=www.xxxxke.com -lang=cn -dir=/html/awstats -awstatsprog=/usr/local/awstats/wwwroot/cgi-bin/awstats.pl


LogFile="/usr/local/nginx/logs/%YYYY-24/%MM-24/expotia2.access_%YYYY-24%MM-24%DD-24.log"

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '

                      '$status $body_bytes_sent "$http_referer" '

                      '"$http_user_agent" "$http_x_forwarded_for"';

 

=====另一篇 =====

Awstats基于Perl的WEB日志分析工具，网上关于它的介绍还是比较多的，因为是基于perl开发的，在管在windows还是linux下都需要先安装perl环境。所以，我们先安装perl 。其实，还需要一个apache环境，在上一节中已经进行了安装讲解。

[root@localhost awstats]# tar xvfz perl-5.16.1.tar.gz 　　 解压

[root@localhost awstats]# cd perl-5.16.1  　　进入目录

[root@localhost perl-5.16.1# rm -f config.sh Policy.sh

[root@localhost perl-5.16.1]# sh Configure -de

[root@localhost perl-5.16.1]#make  　　编译

[root@localhost perl-5.16.1]# make test

[root@localhost perl-5.16.1]# make install  　　安装

 

config.sh Policy.sh 　　为以前安装时的配置文件，新安装或升级安装时需要将其删除。

sh Configure -de 　　安装使用默认配置，一般而言将会 ok 

make test　　　　执行make命令， 然后make根据test目标规则， 执行规定的操作。 

安装完成后 perl 所在目录为 /usr/local/lib/perl5, perl 执行文件在 /usr/local/bin 中。

 

安装awstats                                                                          


 

解压awstats

[root@localhost awstats]# tar xvfz awstats-6.4.tgz 

[root@localhost awstats]# mkdir /etc/awstats

[root@localhost awstats]# mkdir /var/lib/awstats

上面创建的两个目录都将在后面的配置中用到，一个用于存放站点日志分析的配置文件，一个用于存放日志数据信息。 

 

[root@localhost awstats]# cp -R ./awstats-7.0 /usr/local/   

-R 表示复制目录及目录内的所有项目到/usr/local/目录下

[root@localhost test]# mv  awstats-7.0   awstats   　　进行一个重命名，便于操作而已。

 

配置awstats

 

[root@localhost tools]# pwd

/usr/local/awstats//tools

Awstats的配置有自带的配置工具awstats_configure.pl ，首先用vi打开configure.pl文件，看看第一行有关perl运行环境的配置是否正确。 

 

[root@localhost tools]# vi awstats_configure.pl

#!/usr/bin/perl

.............

 

[root@localhost tools]# pwd

/usr/local/awstats/tools

[root@localhost tools]# perl awstats_configure.pl  运行配置文件

Do you want to continue setup from this NON standard directory [yN] ?  你是否安装非标准目录【y / n】?

..............

file (required if first install) [y/N] ? 文件（如果需要先安装）【y / n】？

............

your web site ,virtual server or profile name: 你的网站服务器名或文件名

>demo

............

directory path to store config file(s)  (enter for default):  目录路径存储配置文件（填写默认值）

> /etc/awstats

...........

然后，两个回车配置完成。

 

　　

awstats_configure.pl工具会自动修改您的apache配置，在apache的配置文件httpd.conf文件中自动修改下面信息 

[root@localhost conf]# pwd

/usr/local/apache/conf

[root@localhost conf]# vi httpd.conf

awstats_configure.pl自动在httpd.conf文件最底部添加了以下内容：

# Directives to allow use of AWStats as a CGI
#
Alias /awstatsclasses "/usr/local/awstats/wwwroot/classes/"
Alias /awstatscss "/usr/local/awstats/wwwroot/css/"
Alias /awstatsicons "/usr/local/awstats/wwwroot/icon/"
ScriptAlias /awstats/ "/usr/local/awstats/wwwroot/cgi-bin/"

#
# This is to permit URL access to scripts/files in AWStats directory.
#
<Directory "/usr/local/awstats/wwwroot">
Options None
AllowOverride None
Order allow,deny
Allow from all
</Directory>

 

　　awstats_configure.pl还将根据安装过程中您的回答（要分析的网站名称）信息，自动生产 /etc/awstats/awstats.index.conf文件 

[root@localhost awstats]# pwd

/etc/awstats

[root@localhost awstats]# ls

awstats.index.conf

[root@localhost awstats]# vi awstats.index.conf  配置下面文件

................

LogFile="/usr/local/apache/logs/access_log"     改为apache的日志文件

....

 

这样就完成了awstats的安装与配置工作。

 

 

分析日志

 

[root@localhost cgi-bin]# pwd

/usr/local/awstats/wwwroot/cgi-bin

[root@localhost cgi-bin]# chmod +x  awstats.pl     加可执行权限

[root@localhost cgi-bin]# perl /awstats.pl -update -config=demo      

Create/Update database for config "/etc/awstats/awstats.index.conf" by AWStats version 7.0 (build 1.971)

From data in log file "/usr/local/apache/logs/access_log"...

Phase 1 : First bypass old records, searching new record...

Searching new records from beginning of log file...

Jumped lines in file: 0

Parsed lines in file: 3

Found 0 dropped records,

Found 0 comments,

Found 0 blank records,

Found 3 corrupted records,

Found 0 old records,

Found 0 new qualified records.

 

　　

 

在浏览器里输入：

http://localhost/awstats/awstats.pl?config=demo

然后就可以看到生成的日志报告了

 

有可能与到下面的错误提示，不管你有没有遇到，反正我是遇到了！：

Not Found

The requested URL /awastats/awastats.pl was not found on this server.

-----------------------------------------------------------------------------

Apache/2.2.3 (CentOS) Server at 192.168.0.105 Port 80

 

上面的错误一直没找到原因，于是，找了另一种办法来访问日志文件。

[root@localhost cgi-bin]# pwd

/usr/local/awstats/wwwroot/cgi-bin

[root@localhost cgi-bin]# perl awstats.pl -update -config=demo -output -staticlinks >/var/www/html/awastats.html

这样我们把日志文件保存到apache 服务器下面，名为awastats.html

在浏览器里输入：

http://localhost/awstats.html

一样可以访问日志文件噢！

----------------------------------------------------------------------------------我本地的用法------------------------------------------------------------------------------------------

安装perl ，

yum install perl-libwww-perl.noarch

安装awstats

yum install awstats-*    

或

# wget “http://prdownloads.sourceforge.net/awstats/awstats-7.0-1.noarch.rpm”

# rpm -ivh awstats-7.0-1.noarch.rpm

安装完成，配置可以参考以下资料 !

/usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=demo
perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=demo -output -staticlinks >/html/awastats.html

#打开该网址的配置文件，修改其实的log路径，和一些其他参数

vi /etc/awstats/awstats.appcheck.conf

#进行统计并将结果输出到html

perl /usr/local/awstats/wwwroot/cgi-bin/awstats.pl -update -config=appcheck -output -staticlinks >/usr/local/awstats/wwwroot/20140506.html