如何最合理的处理七牛cdn镜像加速功能造成的网站被镜像问题
2014-11-12 17:11
603 查看
很多小伙伴都在使用七牛cdn来加快网站的访问速度,尤其是七牛的静态文件镜像功能更是非常方便的帮站长把网站本地的静态文件同步到七牛的cdn服务器上,不过呢很多小伙伴在使用七牛的cdn镜像一段时间之后都发现网站莫名其妙的被百度降权了,才发现原来七牛的镜像功能会把网站的html内容也镜像到七牛上,这样一来就相当于七牛上存在一个镜像站点,对于SEO来说是非常不友好的,所以也就造成大量使用了七牛镜像功能的网站被百度降权。当时爆出这个问题的时候七牛官方给出了一个处理方法,就是上传robots.txt来禁止爬虫抓取镜像站点,不过小V觉得这种方法完全是治标不治本的方法,下面小V给出一个比较合理的处理方案:
通过UserAgent来屏蔽七牛镜像爬虫对网页文件的抓取,代码如下:
加上以上代码,七牛cdn的镜像爬虫再来镜像网页文件就会返回503状态:
直接访问镜像站点,效果图:
日志中的记录:
由于只是在php上做限制所以不影响其他静态文件的镜像加速~~。
2014.11.13补充
使用了WP Super Cache插件的小伙伴请将七牛的ua加入到禁止缓存列表中,如下图:
(PS:如果之前已经被七牛镜像了,请先清空七牛的缓存,或者添加代码后更新缓存~~)
通过UserAgent来屏蔽七牛镜像爬虫对网页文件的抓取,代码如下:
if( strpos($_SERVER['HTTP_USER_AGENT'],'qiniu-imgstg-spider') !== false) { header('HTTP/1.1 503 Service Temporarily Unavailable'); echo '防七牛镜像'; exit; }将以上代码加到网站根目录呃index.php文件的<?php之后即可,或者加到主题的functions.php文件也行,这段代码不仅仅是wordpress程序可用,任何php的程序都能用来处理七牛cdn镜像造成的网站被镜像文件。
加上以上代码,七牛cdn的镜像爬虫再来镜像网页文件就会返回503状态:
直接访问镜像站点,效果图:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201502/549b488ef0afe4862b20b80915020e77.png)
日志中的记录:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201502/47f81c0fa72cb4cb1710057b77edda0a.png)
由于只是在php上做限制所以不影响其他静态文件的镜像加速~~。
2014.11.13补充
使用了WP Super Cache插件的小伙伴请将七牛的ua加入到禁止缓存列表中,如下图:
![](https://oscdn.geek-share.com/Uploads/Images/Content/201502/72bbaa7c60eb47d61e120a51aa614b88.png)
(PS:如果之前已经被七牛镜像了,请先清空七牛的缓存,或者添加代码后更新缓存~~)
相关文章推荐
- CDN网站加速常见问题
- 七牛镜像存储 WordPress 插件:一键实现 WordPress 博客静态文件 CDN 加速
- 如何处理wget mirror网站后应用程序文件名问题
- 1,大型的电商网站数据库要如何设计? 2,如何处理数据库死锁问题?
- 七牛镜像存储 WordPress 插件:一键实现 WordPress 博客静态文件 CDN 加速
- 如何处理开发中不合理的管理带来的问题
- 怎样解决部分网站网页中IE9无法播放flash视频的问题--硬件加速功能存在冲突
- 使用七牛的镜像存储功能可能会导致网站被K
- 给网站加速之七牛免费CDN使用教程
- 使用七牛的镜像存储功能可能会导致网站被K
- 七牛镜像存储 WordPress 插件:一键实现 WordPress 博客静态文件 CDN 加速
- 网站如何保持一直在线?CDN加速好用吗
- 如何处理恶意的镜像网站?
- 硬盘出现问题。以前客户的网站在D盘。如果换成其它好的盘上。如何处理?
- 如何用云存储和CDN加速网站图片视频、阿里云OSS的使用(转)
- 关于webpart 的问题:一个用户修改了页面布局,如何应用于网站的所有用户?
- 如何在SQL Server2000中处理半个汉字的问题
- JAVA中如何处理中文的全角和半角问题- -
- 如何处理多页面重定向到同一页面后的返回问题