(转)python爬虫----(scrapy框架提高(1),自定义Request爬取)
2015-02-04 08:11
567 查看
摘要 之前一直使用默认的parse入口,以及SgmlLinkExtractor自动抓取url。但是一般使用的时候都是需要自己写具体的url抓取函数的。
python 爬虫 scrapy scrapy提高最近看scrappy0.24官方文档看的正心烦的时候,意外发现中文翻译0.24文档,简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/
结合官方文档例子,简单整理一下:
?
从Spider源码中,可以看到:
?
继续向下看:
?
默认response处理方法入口,parse函数需要实现,也就是在继承类中重写parse方法。
再看,示例代码中。
?
在这个函数体中,根据 start_requests (默认为GET请求)返回的 Response,得到了一个 名字为‘item_urls’ 的url集合。
然后遍历并请求这些集合。
再看 Request 源码:
?
url: 就是需要请求,并进行下一步处理的url callback: 指定该请求返回的Response,由那个函数来处理。 method: 一般不需要指定,使用默认GET方法请求即可 headers: 请求时,包含的头文件。一般不需要。内容一般如下:使用 urllib2 自己写过爬虫的肯定知道 Host: media.readthedocs.org User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0 Accept: text/css,*/*;q=0.1 Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3 Accept-Encoding: gzip, deflate Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/ Cookie: _ga=GA1.2.1612165614.1415584110; Connection: keep-alive If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT Cache-Control: max-age=0 meta: 比较常用,在不同的请求之间传递数据使用的。字典dict型 request_with_cookies = Request(url="http://www.example.com", cookies={'currency': 'USD', 'country': 'UY'}, meta={'dont_merge_cookies': True}) encoding: 使用默认的 'utf-8' 就行。 dont_filter: indicates that this request should not be filtered by the scheduler. This is used when you want to perform an identical request multiple times, to ignore the duplicates filter. Use it with care, or you will get into crawling loops. Default to False. errback: 指定错误处理函数
不出意外的话,接下来就是 Response 的源码:
?
A Response object represents an HTTP response, which is usually downloaded (by the Downloader) and fed to the Spiders for processing. 可以使用: scrapy shell http://xxxx.xxx.xx >>> dir(response) 查看信息
在继续向下看:
?
此时需要继续向下请求,请求详细的实体的页面。
在这个函数中使用到了 item,也可以不使用。直接将信息(比如实体根据导航标签的大体分类),通过Request的meta属性,传递给下一个callback处理函数。
继续向下看:
?
这时需要接收一下,从上一个函数中传递过来的信息。
?
最后将最终得到的 item 返回即可。这样就能在 ITEM_PIPELINES 中得到数据,并进行下一步的处理了~~~
分享到: .join('');function%20a(){if(!window.open([f,p].join(''),'mb',['toolbar=0,status=0,resizable=1,width=440,height=430,left=',(s.width-440)/2,',top=',(s.height-430)/2].join('')))u.href=[f,p].join('');};if(/Firefox/.test(navigator.userAgent))setTimeout(a,0);else%20a();})(screen,document,encodeURIComponent,'','','','python爬虫----(scrapy框架提高(1),自定义Request爬取): 最近看scrappy0.24官方文档看的正心烦的时候,意外发现中文翻译0.24文档,简直是福利呀~ http://scrapy-chs.readthedocs.org/zh_CN/0.24/ 结合官方文档...','','utf-8'));]
0赞
声明:OSCHINA 博客文章版权属于作者,受法律保护。未经作者同意不得转载。
(转自/article/3483912.html)
相关文章推荐
- Python网络爬虫3 ---- ubuntu下安装爬虫框架scrapy
- Scrapy:Python的爬虫框架
- Python开源爬虫框架:Scrapy架构分析
- centos6.3 安装python爬虫框架scrapy
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- [Python]网络爬虫(11):亮剑!爬虫框架小抓抓Scrapy闪亮登场!
- python 爬虫scrapy框架练习
- python Scrapy 框架做爬虫 ——很好的教程
- Scrapy:Python的爬虫框架【转摘】
- 开源python网络爬虫框架Scrapy
- Python爬虫框架Scrapy安装使用步骤
- [Python]网络爬虫(12):爬虫框架Scrapy的第一个爬虫示例入门教程
- Python爬虫框架Scrapy实战之安装
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- 开源python网络爬虫框架Scrapy
- Python爬虫框架Scrapy安装使用步骤
- 开源python网络爬虫框架Scrapy
- Scrapy:Python的爬虫框架
- 零基础写python爬虫之使用Scrapy框架编写爬虫
- Python爬虫抓取框架:Scrapy的架构