某site无法进行搜索内容,其他site都可以搜索
2011-08-17 11:41
281 查看
进行大量站点测试后,发现其他站点search正常,而该站点无法进行搜索到结果,从爬网中的日志中发现以下错误:
The start address http://xxxxxxxxx cannot be crawled;
新建该站点的网站内容进行专门爬网测试,错误依旧,无法对该站点爬网,根据错误可以判断是爬网服务器无法访问该站点,在爬网服务器上打开该站点url,却出现错误提示,无法打开该网站,判断可能缺少该网站的自定义组件。
最后发现该站点有自定义的组件,在爬网服务器的添加该网站的自定义dll,然后进行增量爬网测试,已经可以在该site搜索出内容。
The start address http://xxxxxxxxx cannot be crawled;
新建该站点的网站内容进行专门爬网测试,错误依旧,无法对该站点爬网,根据错误可以判断是爬网服务器无法访问该站点,在爬网服务器上打开该站点url,却出现错误提示,无法打开该网站,判断可能缺少该网站的自定义组件。
最后发现该站点有自定义的组件,在爬网服务器的添加该网站的自定义dll,然后进行增量爬网测试,已经可以在该site搜索出内容。
相关文章推荐
- 其他网页可以使用,但百度首页打不开,百度搜索无法使用,怎么办
- 其他网页可以使用,但百度首页打不开,百度搜索无法使用,怎么办
- 【转】js中通过docment.cookie获取到的内容不完整! 在浏览器的application里的cookie里可以看到完整的cookie,个别字段无法通过document.cookie获取。 是否有其他办法可以获取到??
- 其他网页可以使用,但百度首页打不开,百度搜索无法使用,怎么办
- andriod studio 调试时可以调用出模拟器却无法显示调试内容(真机,第三方模拟器)
- Android搜索框输入内容点击键盘的搜索按钮进行搜索
- C语言问题:为什么可以留着数组中第一维的参数不进行说明,但是其他维数必须说明呢?
- 2台iTouch无法收到注册远程推送回调,其他机器可以
- WPF 由于其他线程拥有此对象,因此调用线程无法对其进行访问
- 浏览器无法打开百度首页,却可以打开其他网页解决方法
- 解决Google中文简体搜索模式无法搜索到敏感内容
- 在一个服务器上搭建好php环境,在服务器上可以访问,其他机器可以访问服务器但网页无法访问
- 电脑无法被局域网中其他电脑搜索也无法被搜索
- Python---对html文件内容进行搜索取出特定URL地址字符串,保存成列表,并使用每个url下载图片,并保存到硬盘上,使用正则re
- Choose library dependency(选择库的依赖关系)目前搜索不出来任何内容,之前可以搜出来的。
- lucene如何对搜索内容进行建模
- 类似百度搜索输入keyword进行找到含keyword相关内容
- 给phpcms v9专题添加一个radio单选按钮,可以多次利用专题创建不同的栏目进行内容编辑,给专题添加一个自定义字段
- 当本机通过代理服务器上网时,本机无法打开在本机上的虚拟机(oracle vm)linux系统上的网站,但是局域网里的其他机器却可以打开
- 这是一个用于拦截android实时短信的库,可以进行短信过滤,得到自己想要的内容,可以用于需要自动填写短信验证码的app项目