百度重新收录淘宝网 单方面示好为哪般

    据最新消息表明，百度已经重新收录淘宝网页面，收录数量多达28w左右。而从淘宝网方面依旧屏蔽百度蜘蛛的抓取，看来这次百度重新收录淘宝只是前者单方面的行为。那么，时隔三年，百度再次单方面收录淘宝网页面究竟意欲何为？



    百度淘宝互相神秘屏蔽

    08年，淘宝网对外宣布正式屏蔽百度蜘蛛对其网站页面的抓取与索引，而百度方面也以禁止收录淘宝页面为回应。当时淘宝向外界表示，屏蔽部分搜索引擎的原因是为了杜绝不良商家欺诈。此话一出，矛头暗指百度与其竞价排名。淘宝网的robots.txt中只是将百度蜘蛛屏蔽，这是众人皆知的事情。与此同时，百度即将推出C2C交易平台百度有啊，不免让人猜想百度屏蔽淘宝意在打击竞争对手。当然也有人猜测淘宝方面屏蔽百度蜘蛛其意在于避免与百度有啊正面竞争。

    总之当时百度淘宝双方各执一词，除了他们自己，没有人知道他们互相屏蔽的真正原因。

    百度单方面诡异收录淘宝

    此次百度再度收录淘宝网页面的诡异之处在于，robots.txt是搜索引擎蜘蛛抓取的规则设定文件。每当搜索引擎蜘蛛访问某一个网页，都会首先读取网站目录下的robots.txt文件，查看该网站所编写的抓取规则，了解哪些该抓哪些不该抓。而从淘宝的robots.txt来看，代码的编写依旧是屏蔽百度蜘蛛抓取网站内容的。奇怪的是百度却实实在在的收录了淘宝网近28w页面内容，可见前者明显是单方面的抓取并收录后者，应该属于人工刻意而为。



    百度重新收录淘宝原因众说纷纭

    本来三年前的“屏蔽门”事件就闹得沸沸扬扬，加上百度与淘宝官方目前都未对此事作出公开回应，于是引来了众多站长及互联网从业人员的广泛关注。

    起初有人认为是百度与淘宝内部花了三年时间调节此事，近日终于达成一致意见，握手言和。但很快，这种猜测被淘宝网的robots.txt无情推翻。于是又有人猜测，百度近年来在电子商务方面业绩不佳，百度有啊也已经关闭，因此再屏蔽收录淘宝网也没有太大的意义。更有人认为，目前互联网开放大势所趋，而百度也已经推出自己的开放平台，淘宝网搜索流量十分巨大，开放收录淘宝网对其自己也有好处。

转载请保留原文地址：http://www.yushenblog.com/news/87.html