robots.txt写法技巧汇总

写robots注意事项

1、robots.txt 所有字母必须是小写，必须放到网站根目录

2、User-agent：* 表示定义所有蜘蛛，User-agent：Baiduspider表示定义百度蜘蛛。这里要注意*前面有个空格，否则不生效；

3、禁止与允许访问

Disallow: /表示禁止访问，Allow: /表示允许访问。在写robots.txt时需特别注意的是，/前面有一个英文状态下的空格（必须是英文状态下的空格）。

4、禁止访问网站中的动态页面

Disallow: /?

5、禁止搜索引擎访问文件夹中的某一类文件

Disallow: /a/*.js

6、禁止搜索引擎访问文件夹中的某一类目录和文件

Disallow: /a/ps*

7、禁止访问admin后台，防止后台泄露

Disallow: /adm*

8、使用”*”和”$”：

Baiduspider 支持使用通配符””和””来模糊匹配url。“” 匹配行结束符。 “” 匹配0或多个任意字符。

例如允许收录所有.html的页面，Allow: .html$

9、使用robots.txt提交站点地图

Sitemap: https://www.XXXXXXXX.com/sitemap.xml 必须是全部路径；前面有个英文空格别忘记了！

10、使用百度站长工具检查robots.txt是否有错误；

特别注意事项

在写robots.txt文件时语法一定要用对，User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写，后面的字母小写，而且在:后面必须带一个英文字符下的空格。

网站上线之前切记写robots.txt文件禁止蜘蛛访问网站，如果不会写就先了解清楚写法之后再写，以免给网站收录带来不必要的麻烦。

定期检查robots.txt协议，使用死链提交工具；