Url重写 与 google yahoo 蜘蛛(3)
2007-07-10 09:27
387 查看
原文英:http://todotnet.com/archive/0001/01/01/7472.aspx?Pending=true
原文法:http://blogs.developpeur.org/nix/archive/2006/07/01/DOTNET_2_GoogleBot_Crash_Bug_Pas_seulement_googlebot.aspx
当userAgent 是 Mozilla/5.0 的时候 asp.net调用的是 System.Web.UI.Html32TextWriter
如果是其它的 userAgent asp.net调用的是 System.Web.UI.HtmlTextWriter
System.Web.UI.Html32TextWriter这个里面有一个bug
临时的解决方法:
在vs2005里面我们可以创建一个.browser文件
步骤
创建一个App_Browser文件夹.添加一个新的文件yahooslurp.browser
添入
<!--
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
-->
<browsers>
<browser id="Slurp" parentID="Mozilla">
<identification>
<userAgent match="Slurp" />
</identification>
<capabilities>
<capability name="browser" value="Yahoo!Slurp" />
<capability name="Version" value="4.0" />
<capability name="MajorVersion" value="4" />
<capability name="MinorVersionString" value="" />
<capability name="MinorVersion" value=".0" />
<capability name="activexcontrols" value="true" />
<capability name="backgroundsounds" value="true" />
<capability name="cookies" value="true" />
<capability name="css1" value="true" />
<capability name="css2" value="true" />
<capability name="ecmascriptversion" value="1.2" />
<capability name="frames" value="true" />
<capability name="javaapplets" value="true" />
<capability name="javascript" value="true" />
<capability name="jscriptversion" value="5.0" />
<capability name="supportsCallback" value="true" />
<capability name="supportsFileUpload" value="true" />
<capability name="supportsMultilineTextBoxDisplay" value="true" />
<capability name="supportsMaintainScrollPositionOnPostback" value="true" />
<capability name="supportsVCard" value="true" />
<capability name="supportsXmlHttp" value="true" />
<capability name="tables" value="true" />
<capability name="vbscript" value="true" />
<capability name="w3cdomversion" value="1.0" />
<capability name="xml" value="true" />
<capability name="tagwriter" value="System.Web.UI.HtmlTextWriter" />
</capabilities>
</browser>
</browsers>
尝试一下应该是可以了
另外作者还介绍了一个模拟的工具 可以代替我前篇文章提到的 哪个模拟代码
Fiddler 下载地址:http://www.fiddlertool.com/fiddler/
后记:原来第一篇的文章就有人介绍了这个地址. 他加了几个字"弄虚做假" 结果原文没有看下去.
,自己多走了一些路
<userAgent match="Mozilla/5.0" /> 这个是有支正则语法的
原文法:http://blogs.developpeur.org/nix/archive/2006/07/01/DOTNET_2_GoogleBot_Crash_Bug_Pas_seulement_googlebot.aspx
当userAgent 是 Mozilla/5.0 的时候 asp.net调用的是 System.Web.UI.Html32TextWriter
如果是其它的 userAgent asp.net调用的是 System.Web.UI.HtmlTextWriter
System.Web.UI.Html32TextWriter这个里面有一个bug
临时的解决方法:
在vs2005里面我们可以创建一个.browser文件
步骤
创建一个App_Browser文件夹.添加一个新的文件yahooslurp.browser
添入
<!--
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
-->
<browsers>
<browser id="Slurp" parentID="Mozilla">
<identification>
<userAgent match="Slurp" />
</identification>
<capabilities>
<capability name="browser" value="Yahoo!Slurp" />
<capability name="Version" value="4.0" />
<capability name="MajorVersion" value="4" />
<capability name="MinorVersionString" value="" />
<capability name="MinorVersion" value=".0" />
<capability name="activexcontrols" value="true" />
<capability name="backgroundsounds" value="true" />
<capability name="cookies" value="true" />
<capability name="css1" value="true" />
<capability name="css2" value="true" />
<capability name="ecmascriptversion" value="1.2" />
<capability name="frames" value="true" />
<capability name="javaapplets" value="true" />
<capability name="javascript" value="true" />
<capability name="jscriptversion" value="5.0" />
<capability name="supportsCallback" value="true" />
<capability name="supportsFileUpload" value="true" />
<capability name="supportsMultilineTextBoxDisplay" value="true" />
<capability name="supportsMaintainScrollPositionOnPostback" value="true" />
<capability name="supportsVCard" value="true" />
<capability name="supportsXmlHttp" value="true" />
<capability name="tables" value="true" />
<capability name="vbscript" value="true" />
<capability name="w3cdomversion" value="1.0" />
<capability name="xml" value="true" />
<capability name="tagwriter" value="System.Web.UI.HtmlTextWriter" />
</capabilities>
</browser>
</browsers>
尝试一下应该是可以了
另外作者还介绍了一个模拟的工具 可以代替我前篇文章提到的 哪个模拟代码
Fiddler 下载地址:http://www.fiddlertool.com/fiddler/
后记:原来第一篇的文章就有人介绍了这个地址. 他加了几个字"弄虚做假" 结果原文没有看下去.
,自己多走了一些路
<userAgent match="Mozilla/5.0" /> 这个是有支正则语法的
相关文章推荐
- url重写与 google yahoo 蜘蛛
- url重写与 google yahoo 蜘蛛(1)
- Url重写 与 google yahoo 蜘蛛(2)
- Google用户说:Yahoo比Sex更好
- php记录百度和google蜘蛛爬行程序代码日志
- Google Adsense蜘蛛抓取的网页在搜索中出现
- Phishing and Redirection Vulnerability in Yahoo and Google
- baidu google yahoo抓取我的新站
- 疯子去Google 老朽去yahoo 傻子还在微软 (zt)
- [对比]Yahoo和Google的脚步
- Google, 微软,Apple以及Yahoo业务对比分析
- Yahoo、Google产品战略对比:一致性vs.新潮
- Facebook更像Google还是更像Yahoo?
- Apache 另类访问统计 (Google & Yahoo) By Emerald 绿色学院 - Green Institute
- 向Google、Yahoo!、MSN、Ask和百度提交网站地图Sitemap总结
- Google、Yahoo!、MSN、Ask和百度网站地图简单快捷的提交方式 潇湘
- Google和Yahoo专家眼中的JavaScript设计模式
- 将网址添加到google、yahoo、MSN
- 百度蜘蛛、Google蜘蛛、360蜘蛛如何辨别?
- 如何让baidu,google,yahoo搜索到自己的网页?