【Scrapy】Scrapy学习（一）——入门示例

Scrapy是web爬取和信息提取的框架。Scrapy使用的基本流程：创建工程、定义提取条目、编写爬虫并提取信息、编写Pipeline存储提取的字段。

一. 创建工程

转到程序工作空间，执行命令：

scrapy startproject tutorial

创建后的工程目录结构为

tutorial/

scrapy.cfg 工程配置文件

tutorial/ 工程的Python模块

__init__.py

items.py

pipelines.py

settings.py

spiders.py/ 爬虫存放的位置

__init__.py

……

二. 定义抓取条目

抓取条目用于装载抓取的数据，它是由scrapy.Item来声明的，它的属性字段是由scrapy.Field来定义。具体使用如下

import scrapy

class DmozItem (scrapy.Item)

title=scrapy.Field()

link=scrapy.Field()

des=scrapy.Field()

三. 编写爬虫，爬取信息

爬虫是用户编写的从指定域中抓取信息的类。代码及其含义如下：

import scrapy

class DmozSpider(scrapy.Spider)

name="dmoz" 爬虫的唯一标示

domain=["dmoz.org"]

start_urls=[ 爬虫下载的起始页，其他子页从下载的页面中提取

"http://www.dmoz.org/computer/.../books"

]

def parse(self, response):

filename=response.url.split("/")[-2]

with open(filename, 'wb') as f:

f.write(response.body)

爬取信息的语句：scrapy crawl dmoz，其中dmoz为爬虫的标示。

四. 提取字段

从网页中提取字段的方法有多种，Scrapy使用一种基于xpath或css表达式的，称为Scrapy selectors的方法。selectors可以看作是文档结构的节点对象，所以初始化的selectors就是根节点或整个文档。

selectors有四个基本的方法：

⑴. xpath()返回selectors列表，每个对象代表由xpath表达式作为参数选择的节点。

⑵. css()，css表达式作为参数。

⑶. extract()返回选择的字符串。

⑷. re()返回由正则表达式作为参数提取的字符串列表。

五. 存储提取的数据

使用scrapy -o可以把抓取的结果保存到文件中，但在复杂的应用中，需要用到Item Pipeline，在创建工程时已创建了pipelines文件。