网页SEO内容
2015-11-26 23:20
357 查看
关于网页根目录下的robots.txt文件的部分疑问
robots.txt
书写语法:
第一条:User-agent,后接搜索引擎的蜘蛛名称
第二条:Disallow,填写要拦截的部分
经典语法:
User-agent:*
Disallow:
or
User-agent:*
Allow:/
User-agent:*
Disallow:/
User-agent:Baiduspider
Disallow:/
User-agent:BaiduspiderDisallow:
User-agent:*Disallow:/
User-agent:*
Disallow:/admin/
Allow:/images/
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
User-agent:*Disallow:/*?*
在对 robots.txt 文件设置记录时,要特别注意 Disallow 与 Allow 行的顺序是有意义的,spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。
举例说明:
允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL
User-agent: *
Allow: /cgi-bin/see
Disallow: /cgi-bin/
如果Allow 和 Disallow 的顺序调换一下:
User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/see
spider 就无法访问到 /cgi-bin/ 目录下的包含 see 的文件夹或URL,因为第一个 Disallow: /cgi-bin/ 已经匹配成功。
Disallow 和 Allow 记录后面可以是一条完整的路径,也可以是路径的非空前缀。例如 “Disallow: /help” 禁止 spider 访问/help.html、/helpabc.html、/help/index.html;而 “Disallow:/help/” 则允许 spider 访问 /help.html、/helpabc.html,不能访问 /help/index.html
robots.txt
书写语法:
第一条:User-agent,后接搜索引擎的蜘蛛名称
第二条:Disallow,填写要拦截的部分
经典语法:
User-agent:*
Disallow:
or
User-agent:*
Allow:/
User-agent:*
Disallow:/
User-agent:Baiduspider
Disallow:/
User-agent:BaiduspiderDisallow:
User-agent:*Disallow:/
User-agent:*
Disallow:/admin/
Allow:/images/
User-agent:*
Disallow:/admin/*.php$
Allow:/admin/*.asp$
User-agent:*Disallow:/*?*
在对 robots.txt 文件设置记录时,要特别注意 Disallow 与 Allow 行的顺序是有意义的,spider 会根据第一个匹配成功的 Allow 或 Disallow 行确定是否访问某个URL。
举例说明:
允许 spider 访问 /cgi-bin/ 目录下的包含 see 的文件夹或URL
User-agent: *
Allow: /cgi-bin/see
Disallow: /cgi-bin/
如果Allow 和 Disallow 的顺序调换一下:
User-agent: *
Disallow: /cgi-bin/
Allow: /cgi-bin/see
spider 就无法访问到 /cgi-bin/ 目录下的包含 see 的文件夹或URL,因为第一个 Disallow: /cgi-bin/ 已经匹配成功。
Disallow 和 Allow 记录后面可以是一条完整的路径,也可以是路径的非空前缀。例如 “Disallow: /help” 禁止 spider 访问/help.html、/helpabc.html、/help/index.html;而 “Disallow:/help/” 则允许 spider 访问 /help.html、/helpabc.html,不能访问 /help/index.html
相关文章推荐
- MFC 设置全局变量
- 1.4 Java的反射机制
- 匿名函数自调用(IIFE)
- iOS开发,EALayout 无需反复编译,可视化实时界面,告别Storyboard AutoLayout Xib等等烦人的工具
- 听《中微子之谜》顾樵教授讲座-有感
- 选项切换条--第三方开源--SHSegmentControl
- submit和button类型控制的表单提交
- 杭电1434幸福列车(嵌套结构体,优先队列)
- MySQL初学整理(1)
- gitlab-ci环境使用感受
- test
- 一天一个数据结构之ArrayList
- 计算机网络OSI模型
- 【面试】Fragment嵌套Fragment的bug
- thread02
- 浅析goto语句以及longjmp函数
- 记录一个可以上传图片的代码
- Unity中的分层射线检测
- Android AndroidProgressLayout:加载页面遮挡耗时操作任务页面
- 如何解析Mybatis xml文件中配置的sql