1、初识scrapy

Scrapy是一个从网上爬取数据的开源的、友好的框架。

An open source and collaborative framework for extracting the data from website.

scrapy具有以下优点：

1. 快速强大

2. 容易扩展

3. 适应于多平台

一个简单的爬虫

下面这个爬虫爬取了stackoverflow问题页中的内容。

stackoverflow_spider.py

import scrapy

class StackoverflowSpider(scrapy.Spider):
name = 'stackoverflow'
start_urls=['http://stackoverflow.com/questions?sort=votes']

def parse(self, response):
for href in response.css('.question-summary h3 a::attr(href)'):
full_url = response.urljoin(href.extract())
yield scrapy.Request(full_url, callback=self.parse_question)

def parse_question(self, response):
yield {
'title': response.css('h1 a::text').extract()[0],
'votes': response.css('.question .vote-count-post::text').extract()[0],
'body': response.css('.question .post-text').extract()[0],
'tags': response.css('.question .post-tag::text').extract(),
'link': response.url
}

运行命令

scrapy runspider stackoverflow_spider.py -o result.csv

，将爬虫爬取结果保存到result.csv中。

该爬虫的运行过程：

1. 使用start_urls作为初始url生成Request，并默认把parse作为它的回调函数。

2. 在parse中采用css选择器获得目标URL，并注册parse_question作为目标URL的回调函数。

scrapy的高级特性

内置css/xpath/re数据抽取器

交互式控制台用于调试数据抽取方法（scrapy shell）

内置对爬取结果的输出支持，可以将结果保存为json/csv/xml等

自动处理编码

支持自定义扩展

丰富的内置扩展，可用于处理：

cookies and session

http features like compression, authentication,caching

user-agent spoofing

robots.txt

crawl depth restriction