踢掉google和baidu爬虫!
2010-05-04 16:05
141 查看
在网站根目录下建立robots.txt文件,写入:
User-agent: GoogleBot
Disallow: *
User-agent: googleBot
Disallow: *
User-agent: Baiduspider
Disallow: *
User-agent: baiduspider
Disallow:
User-agent: GoogleBotDisallow: *
User-agent: googleBotDisallow: *
User-agent: BaiduspiderDisallow: *
User-agent: baiduspiderDisallow: *
User-agent: GoogleBot
Disallow: *
User-agent: googleBot
Disallow: *
User-agent: Baiduspider
Disallow: *
User-agent: baiduspider
Disallow:
User-agent: GoogleBotDisallow: *
User-agent: googleBotDisallow: *
User-agent: BaiduspiderDisallow: *
User-agent: baiduspiderDisallow: *
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 设置nginx让baidu,google等爬虫抓取不同语言的页面
- Baidu PK Google
- baidu百度和google的字符编码解码
- jquery实现自动提示的文本框（仿baidu,google搜索)
- 今天偶然打开Google.Hk首页，突然发现了Baidu的LOGO
- 把默认的IE地址栏搜索换成baidu或Google
- 今天发现:用google,baidu,live搜寻@符号的时候居然一条结果也没有
- Jquery 模仿Baidu、Google收索时提示输入结果
- Google's Founder Page 96年在就做爬虫上网求助...
- SB 在Google和 baidu里是啥结果呢 经典啊哈哈
- 又一惊喜Baidu新闻跟着Google收录我站的新闻
- 提高google baidu 排名方法
- 请问google、baidu的搜索规则是什么？
- baidu google 开发搜索引擎
- Google和Baidu常用的搜索技巧--转
- google和baidu搜索命令
- Google、Soso、Baidu卫星图url研究
- 最近用ajax技术借助google,baidu做了个无刷新搜索,可在google,baidu自由切换
- * blog有用的一些代码 : google,baidu的收录情况
- Google已获得baidu.com.sb域名