wordpress网站没有写robots.txt,搜索引擎却能访问
2013-04-06 15:31
477 查看
用wordpress建站的站长们有没有遇到那样的状况:想在wordpress中找到robots.txt文件并修改它,却不知道robots.txt文件放在wordpress在何处,我在查看网站日记时发现,搜寻引擎蛛蛛爬取了网站的robots文书,然而站长们还没有做过robots文书,那某个robots文书哪来的呢?
那么wordpress中没有robots.txt,然而怎么搜索引擎却能访问到它呢?那终究wordpress网站如何修改robots文件?为理解除心中的疑难,在参观器里输出http:/yoursite/robots.txt按回车,还真涌现了robots文书。
到网站根节目下查找robots.txt,根本没有这个文件怎么会找到呢?但搜寻引擎爬取到的robots文件又是什么情况?莫非wordpress会主动生成robots文书?
在百度和google上继续寻找答案,原来事件还真是那样:wordpress会主动生成robots文书!
那么你没在wordpress网站根目录里上传过robots.txt,当搜寻引擎和用户访问robots.txt文件时,wordpress程序会主动生成一个robots.txt给搜寻引擎和用户;若是站长们上传大家编写的robots.txt到网站根目录,用户和搜寻引擎蛛蛛访问的就是你自己上传的文件,wordpress就不会再自动生成那个文件了。
服务器找不到那个文件的时候wordpress才会生成那个文书。
robots文件关于网站优化有着举足轻重的作用,希望本文对有同样问题的站长们有所帮助!
原文标题:wordpress网站没有写robots.txt,搜索引擎却能访问
原文地址:http://www.pcxx8.com/html/3637.html
那么wordpress中没有robots.txt,然而怎么搜索引擎却能访问到它呢?那终究wordpress网站如何修改robots文件?为理解除心中的疑难,在参观器里输出http:/yoursite/robots.txt按回车,还真涌现了robots文书。
到网站根节目下查找robots.txt,根本没有这个文件怎么会找到呢?但搜寻引擎爬取到的robots文件又是什么情况?莫非wordpress会主动生成robots文书?
在百度和google上继续寻找答案,原来事件还真是那样:wordpress会主动生成robots文书!
那么你没在wordpress网站根目录里上传过robots.txt,当搜寻引擎和用户访问robots.txt文件时,wordpress程序会主动生成一个robots.txt给搜寻引擎和用户;若是站长们上传大家编写的robots.txt到网站根目录,用户和搜寻引擎蛛蛛访问的就是你自己上传的文件,wordpress就不会再自动生成那个文件了。
服务器找不到那个文件的时候wordpress才会生成那个文书。
robots文件关于网站优化有着举足轻重的作用,希望本文对有同样问题的站长们有所帮助!
原文标题:wordpress网站没有写robots.txt,搜索引擎却能访问
原文地址:http://www.pcxx8.com/html/3637.html
相关文章推荐
- 如何使用 robots.txt 文件控制对网站的访问
- 在过去 24 小时内,Googlebot 在尝试访问您的 robots.txt 时遇到了 33 个错误。为确保不会抓取该文件中列出的任何网页,我们推迟了抓取操作。您网站的 robots.txt 总体错
- 用robots.txt禁止搜索引擎搜索你的网站内容
- 网站下面没有robots.txt怎么办?
- 解决wordpress robots.txt无法正常访问的问题
- jsp实现网站浏览过滤器(没有登录就不能访问其他网页)
- WordPress网站设置搜索引擎关键词和描述
- Nginx禁止访问robots.txt防泄漏web目录
- 判断访问你网站的搜索引擎还是真实用户
- 右键TXT文件-打开方式-选择默认程序提示 windows无法访问指定设备,路经或文件.您可能没有合适的权限访问这个项目
- 源码里面没有引入广告,但是访问网站时却能看到广告,该如何删除广告?
- 网站运营,请回到没有搜索引擎的年代
- 当内网内没有条件建立dns服务器,又不想用IP访问网站,应配置什么文件
- 在非服务器用Ip访问SharePoint网站,选择菜单没有响应
- 网站引入了css样式文件能访问,就是没有效果
- kangle2.0做完网站访问在线文件管理时提示没有权限
- 网站SEO优化之Robots.txt文件写法。
- 给自己的网站加上robots.txt
- nginx下禁止访问robots.txt的设置方法
- 防止搜索引擎过快访问网站的方法