Bai空间 禁止Google 爬虫程序访问的代码
2008-11-20 17:41
369 查看
http://hi.baidu.com/robots.txtUser-agent: Baiduspider
Disallow:
User-agent: Googlebot
Disallow:
User-agent:
Disallow: /
User-agent: MSNBot
Allow: /
Disallow:
User-agent: Googlebot
Disallow:
User-agent:
Disallow: /
User-agent: MSNBot
Allow: /
相关文章推荐
- 安全空间-程序访问权限攻略
- Google发布代码转换工具 可移植安卓程序至iOS
- asp实现禁止搜索引擎蜘蛛访问的代码
- c++修改文件(夹)的用户访问权限程序代码
- Asp下实现限制IP访问的程序代码
- Google Breakpad 捕获程序崩溃报告代码简解
- Google Breakpad 捕获程序崩溃报告代码简解
- devmem 代码阅读,用户空间和内核空间同时访问同一内存
- 编写高效代码(8) 程序、数据访问符合Cache的时间、空间局部性
- 转载:c++修改文件(夹)的用户访问权限程序代码
- 跟Google学写代码--Chromium工程中禁止使用的C++11特性
- C#判断手机访问和电脑访问程序代码
- 访问Google搜索API的swing窗体程序
- 同一空间绑定多个域名而实现访问不同页面的PHP代码
- JAVA操作SSL协议,通过Socket访问Https的程序代码例子
- php中禁止单个IP与ip段访问的代码小结
- web测试常用python代码——爬虫程序
- Asp下实现限制IP访问的程序代码
- PHP中限制IP段访问、禁止IP提交表单的代码