scrapy框架爬取数据入库（附详细介绍）

在论坛上看过很多的scrapy数据入库（mysql）的例子，但是我尝试之后总是出现一些莫名其妙的错误，搞得自己走了很多弯路，于是我将我认为是最简单易懂的方法和代码展示给大家，欢迎大家吐槽

1.创建scrapy项目（安装scrapy框架和mysql数据库就不在这讨论了，论坛上也有很多），在这里我创建的项目名称是“testmysql”，命令（cmd）是“scrapy startproject testmysql”，最好是在你想要创建项目的目录里面创建，创建好后，会看到如下文件



2.创建spider文件，CD命令到testmysql文件夹（上图的第一个testmysql文件夹）下，输入命令（scrapy genspider yingyeyuan cs.58.com/yingyeyuan/）（这里你也可以手动增加该文件）,然后就会看到有一个yinyeyuan.py的文件生成，好了，之后就在这里面写爬虫代码吧！



3.开始编写spider ，我爬的是58同城上的营业员相关的职业，所以第二步要在代码里面写 “cs.58.com/yingyeyuan/”,然后将页面的标题，工资，福利，公司名称，代码如下：# -*- coding: utf-8 -*-
import scrapy

class YinyeyuanSpider(scrapy.Spider):
name = 'yingyeyuan'
# allowed_domains = ['http://cs.58.com/yingyeyuan/']
start_urls = ['http://cs.58.com/yingyeyuan/']

def parse(self, response):
# 获取标题
title = response.xpath(".//*[@id='list_con']/li/div[1]/div[1]/a/span[2]/text()").extract()
# 获取公司名称
comname = response.xpath(".//*[@id='list_con']/li/div[2]/div/a/text()").extract()
# 获取工资
money = response.xpath(".//*[@id='list_con']/li/div[1]/p/text()").extract()
# 获取福利
getfree = response.xpath(".//*[@id='list_con']/li/div[1]/div[2]/span[1]/text()").extract()4.将得到的数据保存到items中去，所以要讲items.py导入到此文件中来（比上面多了几行代码而已），注意，最下面的yield语句一定要有，这个地方害我走了很多弯路，就这一句代码，

：# -*- coding: utf-8 -*-
import scrapy
from ..items import TestmysqlItem

class YinyeyuanSpider(scrapy.Spider):
name = 'yingyeyuan'
# allowed_domains = ['http://cs.58.com/yingyeyuan/']
start_urls = ['http://cs.58.com/yingyeyuan/']

def parse(self, response):
# 获取标题
title = response.xpath(".//*[@id='list_con']/li/div[1]/div[1]/a/span[2]/text()").extract()
# 获取公司名称
comname = response.xpath(".//*[@id='list_con']/li/div[2]/div/a/text()").extract()
# 获取工资
money = response.xpath(".//*[@id='list_con']/li/div[1]/p/text()").extract()
# 获取福利
getfree = response.xpath(".//*[@id='list_con']/li/div[1]/div[2]/span[1]/text()").extract()
# 实例化TongchengItem类
tongcheng = TestmysqlItem()
# 存入items
tongcheng["title"] = title
tongcheng["comname"] = comname
tongcheng["money"] = money
tongcheng["getfree"] = getfree
yield tongcheng
5.到了这步，就可以开始编写入库代码了，找到项目目录下的pipelines.py文件：



输入如下代码，我是存入mysql数据库，具体根据你的数据库来（解释：__init__函数里面初始化时就连接数据库，这样会方便很多，毕竟增删改查都要用到这些代码，同时输出下，确保程序运行到这里。process_items函数就是入库的操作，items由于是所有的数据的集合，所以要循环执行，try 语句确保入库成功，不成功就返回错误原因）：import pymysql

class TestmysqlPipeline(object):
def __init__(self):
# connection database
self.connect = pymysql.connect('localhost','root','root','tongcheng',use_unicode=True,charset='utf8')
# get cursor
self.cursor = self.connect.cursor()
print("connecting mysql success!")

def process_item(self, item, spider):
print("start writing datas...")
try:
for i in range(0,len(item['title'])):
# insert data
sqlstr = "insert into zhaoping(title,companyname,getfree,money) VALUES('%s','%s','%s','%s')"%(item['title'][i],item['comname'][i],item['getfree'][i],item['money'][i])
self.cursor.execute(sqlstr)
self.connect.commit()
self.connect.close()
except Exception as error:
# print error
print(error)
return item6.修改settings.py文件，如果不修改，程序就不会知道你要执行哪个操作，默认情况下，它被注释了，去掉注释就好（300其实就是个执行顺序，越小执行越优先）：# Configure item pipelines
# See https://doc.scrapy.org/en/latest/topics/item-pipeline.html ITEM_PIPELINES = {
'testmysql.pipelines.TestmysqlPipeline': 300,
}7.试试看，输入命令“scarpy crawl yingyeyuan”，再去看看数据库，是不是很神奇啊？（大神勿喷）