使用Snoopy采集时被封ip怎么办，试试这个解决方法

最近各种网站的采集程序写的比较多，遇到在采某网站时采到100多条时突然发现对方的网站打不开了，猜到肯定被封ip了，用了代理还是会封，这不是办法。在网上找了一些资料都没有找到，功夫不负有心人啊，在找的时侯有一个人提到了用搜索引擎爬虫蜘蛛的USERAGENT。虽然只提到一点点我还是想到了，列出我的解决方法,
1.使用Snoopy或curl传搜索引擎爬虫的USERAGENT值。
查看搜索引擎爬虫的USERAGENT值：
搜索引擎爬虫蜘蛛的USERAGENT收集

百度爬虫

    * Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫

    * Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

    * Googlebot/2.1 (+http://www.googlebot.com/bot.html)

    * Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫（分别是雅虎中国和美国总部的爬虫）

    *Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html”)

    *Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp”)
新浪爱问爬虫

    *iaskspider/2.0(+http://iask.com/help/help_index.html”)

    *Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫

    *Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)

    *Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07″)
网易爬虫

    *Mozilla/5.0 (compatible; YodaoBot/1.0; http://www.yodao.com/help/webmaster/spider/”; )
MSN爬虫

    *msnbot/1.0 (+http://search.msn.com/msnbot.htm”)
2.使用Snoopy或curl传referer值。

   如：$snoopy->referer = 'http://www.google.com';

         $header[] = "Referer: http://www.google.com/";
3.使用Snoopy或curl代理。
   如：$snoopy->proxy_host = "59.108.44.41";

         $snoopy->proxy_port = "3128";
4.使用Snoopy或curl防造IP。

   如：$snoopy->rawheaders['X_FORWARDED_FOR'] = '127.0.0.1';

本文转载自<这一技客> http://www.geekso.com