配置apache日志,分别记录不同搜索引擎爬虫的访问记录
2016-02-26 16:04
561 查看
编辑/usr/local/apache/conf/extra/http_vhost.conf,在添加的虚拟主机中配置日志如下:
SetEnvIfNoCase User-Agent Baiduspider baidu_robot #百度访问日志
SetEnvIfNoCase User-Agent Googlebot google_robot #谷歌访问日志
SetEnvIfNoCase User-Agent 360Spider 360__robot
SetEnvIfNoCase User-Agent Iaskspider xinglang_robot
SetEnvIfNoCase User-Agent Sogou sogou_robot
SetEnvIfNoCase User-Agent YodaoBot wangyi_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.site_%Y%m%d.log 86400" combined env=!image-request
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.google_%Y%m%d.log 86400" combined env=google_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.baidu_%Y%m%d.log 86400" combined env=baidu_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.360_%Y%m%d.log 86400" combined env=360_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.xinglang_%Y%m%d.log 86400" combined env=xinglang_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.sougou_%Y%m%d.log 86400" combined env=sougou_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.wangyi_%Y%m%d.log 86400" combined env=wangyi_robot
然后每天生成不同的日志来记录,实现不同的访问日志记录不同搜索引擎爬虫的访问记录。
SetEnvIfNoCase User-Agent Baiduspider baidu_robot #百度访问日志
SetEnvIfNoCase User-Agent Googlebot google_robot #谷歌访问日志
SetEnvIfNoCase User-Agent 360Spider 360__robot
SetEnvIfNoCase User-Agent Iaskspider xinglang_robot
SetEnvIfNoCase User-Agent Sogou sogou_robot
SetEnvIfNoCase User-Agent YodaoBot wangyi_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.site_%Y%m%d.log 86400" combined env=!image-request
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.google_%Y%m%d.log 86400" combined env=google_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.baidu_%Y%m%d.log 86400" combined env=baidu_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.360_%Y%m%d.log 86400" combined env=360_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.xinglang_%Y%m%d.log 86400" combined env=xinglang_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.sougou_%Y%m%d.log 86400" combined env=sougou_robot
CustomLog "|/usr/local/apache2/bin/rotatelogs -l /usr/local/apache2/logs/cn.wangyi_%Y%m%d.log 86400" combined env=wangyi_robot
然后每天生成不同的日志来记录,实现不同的访问日志记录不同搜索引擎爬虫的访问记录。
相关文章推荐
- Python3写爬虫(四)多线程实现数据爬取
- 微信搜一搜迈出新的一步,好戏来了
- Scrapy的架构介绍
- 爬虫笔记
- 互联网业内的迷雾 谨慎选择虚拟主机
- 选定虚拟主机 性能凸显优势
- 开通虚拟主机时提示Server.CreateObject失败的解决办法
- 用vbs实现虚拟主机和域名查循的脚本
- 星外虚拟主机平台国内五大域名接口设置方法
- Nodejs爬虫进阶教程之异步并发控制
- AJAX 支持搜索引擎问题分析
- 搜索引擎对关键词作弊判断方法揭密
- 使用php记录用户通过搜索引擎进网站的关键词
- 本地机apache配置基于域名的虚拟主机详解
- 有史以来最好的windows 虚拟主机安全配置
- winxp apache用php建本地虚拟主机的方法
- android将搜索引擎设置为中国雅虎无法搜索问题解决方法
- apache的多站点虚拟主机配置方法
- apache 虚拟主机的配置方法
- Linux Apache+Proftpd构建虚拟主机时要注意的几个安全问题