百度站长工具抓取诊断提示抓取异常信息:读取http头或者页面内容时失败
2016-11-29 11:54
148 查看
最近网站的收录情况不是很理想,网站添加了百度站长平台验证,就使用了抓取诊断功能,结果发现百度抓取失败。
提示“抓取异常信息:读取http头或者页面内容时失败”。
看看百度官方给出的修改建议:
【读取http头或者页面内容时失败】
您的服务器收到了我们的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。
我还以为是http头的问题,结果调整了一下还不行。
想想最近服务器的操作,好像安装了360主机卫士,难道是这个把百度蜘蛛屏蔽了?
卸载掉之后,重启了服务器,再尝试抓取诊断,抓取正常了。
如果您遇到这种情况,看看是不是服务器屏蔽了百度的抓取蜘蛛导致的。
提示“抓取异常信息:读取http头或者页面内容时失败”。
看看百度官方给出的修改建议:
【读取http头或者页面内容时失败】
您的服务器收到了我们的完整请求,但是返回信息时不完整,http头或者响应正文发生了截断,导致网页内容不能正常读取。
我还以为是http头的问题,结果调整了一下还不行。
想想最近服务器的操作,好像安装了360主机卫士,难道是这个把百度蜘蛛屏蔽了?
卸载掉之后,重启了服务器,再尝试抓取诊断,抓取正常了。
如果您遇到这种情况,看看是不是服务器屏蔽了百度的抓取蜘蛛导致的。
相关文章推荐
- 网页调试技巧:抓取马上跳转的页面POST信息或者页面内容
- 实现功能:弹出一个DIV层提示等待信息,这个时候禁用用户操作页面中的其他内容
- firefox提示 内容编码错误 无法显示您尝试查看的页面,因为它使用了无效或者不支持的压缩格式
- firefox提示 内容编码错误 无法显示您尝试查看的页面,因为它使用了无效或者不支持的压缩格式。
- 利用Microsoft.XMLHTTP定制页面无刷新自动检索提示信息
- 关于jQuery load()方法加载页面后台发生异常而前台页面加载失败且没有任何展示信息的问题处理
- 读取URL页面中的内容,支持HTTP和HTTPS协议
- CSDN修改个人资料的功能,如果内容不符合交互规则,页面没有提示信息
- HttpWebRequest 抓取页面异常处理办法
- 利用Microsoft.XMLHTTP定制页面无刷新自动检索提示信息
- 火狐firefox提示“内容编码错误 无法显示您尝试查看的页面,因为它使用了无效或者不支持的压缩格式。”
- 登录成功或失败直接在当前页面给出提示信息,不必进行struts2的路由配置方案
- 利用java filter 实现业务异常拦截 跳转到错误信息提示页面
- 页面加载时显示一个loading的图片或者动画或者提示信息
- 通过httpClient4读取页面内容
- 关闭子页面刷新父页面时候,Firefox 必须发送将会导致重复之前动作的数据(例如搜索或者下订单)。 ie提示:若要再次显示该页面,web浏览器需要重新发送您以前提交的信息
- 提示信息 感应鼠标移动事件 自动显示url页面内容
- 利用Microsoft.XMLHTTP定制页面无刷新自动检索提示信息
- HttpWebRequest 抓取页面异常处理方法
- 让背景如此暗淡(一种弹出提示信息时页面背景色调改变的方法)