利用nginx来屏蔽指定的user_agent的访问
2016-02-23 17:24
661 查看
对于做国内站的我来说,我不希望国外蜘蛛来访问我的网站,特别是个别垃圾蜘蛛,它们访问特别频繁。这些垃圾流量多了之后,严重浪费服务器的带宽和资源。通过判断user agent,在nginx中禁用这些蜘蛛可以节省一些流量,也可以防止一些恶意的访问。
1、进入nginx的配置目录,例如cd
/usr/local/nginx/conf
2、添加agent_deny.conf配置文件
vim agent_deny.conf
加入以下
还有加一些针对特殊的user_agent的访问
这个是如何得出是频繁访问的user_agent呢,通过分析nginx的日志可以得出
然后在nginx.conf的location中加入include
agent_deny.conf;
平滑重启nginx
/usr/local/nginx/sbin/nginx
–s reload
然后测试一下
设置是否成功
到这里,nginx通过判断User-Agent屏蔽蜘蛛访问网站就已经完成,可以根据实际情况对agent_deny.conf中的蜘蛛进行增加、删除或者修改。
1、进入nginx的配置目录,例如cd
/usr/local/nginx/conf
2、添加agent_deny.conf配置文件
vim agent_deny.conf
加入以下
#禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; } #禁止指定UA及UA为空的访问 if ($http_user_agent ~ "FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|LinkpadBot|Ezooms|^$" ) { return 403; } #禁止非GET|HEAD|POST方式的抓取 if ($request_method !~ ^(GET|HEAD|POST)$) { return 403; }
还有加一些针对特殊的user_agent的访问
if ($http_user_agent ~ "Mozilla/4.0\ \(compatible;\ MSIE\ 6.0;\ Windows\ NT\ 5.1;\ SV1;\ .NET\ CLR\ 1.1.4322;\ .NET\ CLR\ 2.0.50727\)") { return 404; }
这个是如何得出是频繁访问的user_agent呢,通过分析nginx的日志可以得出
tail -n 1000 /usr/local/nginx/logs/access.log | awk -F\" '{A[$(NF-1)]++}END{for(k in A)print A[k],k}' | sort -n | tail 分析访问次数执行以上命令可以得出访问最多的user_agent,通过人为判断是否正常来屏蔽
然后在nginx.conf的location中加入include
agent_deny.conf;
平滑重启nginx
/usr/local/nginx/sbin/nginx
–s reload
然后测试一下
设置是否成功
curl -I -A "BaiduSpider" www.test.com
HTTP/1.1 200 OK Server: nginx Date: Mon, 09 Feb 2015 03:37:20 GMT Content-Type: text/html; charset=UTF-8 Connection: keep-alive Vary: Accept-Encoding X-Powered-By: PHP/5.5.19 Vary: Accept-Encoding, Cookie Cache-Control: max-age=3, must-revalidate WP-Super-Cache: Served supercache file from PHP
curl -I -A "JikeSpider" www.test.com
HTTP/1.1 403 Forbidden Server: nginx Date: Mon, 09 Feb 2015 03:37:44 GMT Content-Type: text/html Content-Length: 162 Connection: keep-alive
到这里,nginx通过判断User-Agent屏蔽蜘蛛访问网站就已经完成,可以根据实际情况对agent_deny.conf中的蜘蛛进行增加、删除或者修改。
相关文章推荐
- 在Ubuntu14.04上配置nginx和fastcgi程序
- jdango 部署之nginx+uwsgi
- 安装nginx+lua开发环境
- Linux下安装Nginx详细图解教程
- centos 安装nginx,php-fpm,mysql
- nginx,laravel5.1在ubuntu的部署
- Nginx rewrite规则整理
- ThinkPHP 3.2 在 Nginx 下配置 URL 模式为 REWRITE 模式
- linux 安装 nginx
- nginx增加modsecurity模块
- nginx学习汇总
- 负载均衡配置(基于Nginx)
- 如何配置Nginx+Fastcgi实现控制硬件
- Mac利用brew安装nginx环境
- nginx location语法
- Nginx的安装与使用
- Linux下安装Nginx详细图解教程
- Nginx1.8.0版本平滑升级新版本1.9.7
- Nginx源码分析:核心模块剖析及常见问题
- Nginx源码分析:3张图看懂启动及进程工作原理