en cart站内优化之robots.txt编写实例
2013-06-25 08:32
176 查看
robots.txt的的作用是告诉搜素允许或者不允许收录网站的哪些页面,默认是允许收录。robot单词本身是机器人的意思。 详解介绍请查看robots.txt的功能和写法详解.
现在我需要的是确定哪些页面是不需要被抓取的。下面是一个正在使用的robots.文件,你可以参考自己的网站修改使用。:-)
等一些,但是我建议;1.admin或者其他后台管理文件夹不要写,一会暴露后台地址,二没必要,前台页面中没有链接是链接到后台的,所有蜘蛛爬不到的,htmlarea文件夹同理。2.extras 和 docs 文件夹,网站安装完是必须要删除掉的,无用文件而且影响网站安全.3.其他例如conract_us等页面,页面中可以含有商品的关键词或者潜在客户会搜索了解的一些内容,有助于站内链接和客户需要,所有没必要disallow,但是建议在网站页面的这几个内容链接属性加上rel=“nofollow”属性不分散权重。
现在我需要的是确定哪些页面是不需要被抓取的。下面是一个正在使用的robots.文件,你可以参考自己的网站修改使用。:-)
等一些,但是我建议;1.admin或者其他后台管理文件夹不要写,一会暴露后台地址,二没必要,前台页面中没有链接是链接到后台的,所有蜘蛛爬不到的,htmlarea文件夹同理。2.extras 和 docs 文件夹,网站安装完是必须要删除掉的,无用文件而且影响网站安全.3.其他例如conract_us等页面,页面中可以含有商品的关键词或者潜在客户会搜索了解的一些内容,有助于站内链接和客户需要,所有没必要disallow,但是建议在网站页面的这几个内容链接属性加上rel=“nofollow”属性不分散权重。
相关文章推荐
- 限制搜索引擎蜘蛛(robots.txt)参数实例详解
- 以一个实例说明 CMakeLists.txt 文件的编写
- 合理利用robots.txt来优化SEO
- 以一个实例说明 CMakeLists.txt 文件的编写
- seo robots.txt编写
- 以一个实例说明 CMakeLists.txt 文件的编写
- 熟悉 CMake(二)—— 以一个实例说明 CMakeLists.txt 文件的编写
- robots.txt使用和优化技巧
- 利用robots.txt对wordpress博客进行优化
- 怎样写robots.txt实例
- 以一个实例说明 CMakeLists.txt 文件的编写
- 如何做到优化引擎搜索SEO之第七篇:robots.txt
- 以一个实例说明 CMakeLists.txt 文件的编写
- 快速编写robots.txt的制作方法
- 以一个实例说明 CMakeLists.txt 文件的编写
- robots.txt 优化使用
- 以一个实例说明 CMakeLists.txt 文件的编写
- 以一个实例说明 CMakeLists.txt 文件的编写
- Robots.txt 编写
- 以一个实例说明 CMakeLists.txt 文件的编写