Scrapy学习笔记 妹子图

学习自：https://www.urlteam.org/2016/06/scrapy笔记五-爬取妹子图网的图片-详细解析

学了一整天，好不容易搞懂一点。

1.首先在spider从parse()中抽取各类型标题，yield生成requests的列表，没个requests使用parse_item()函数

2.parse_item()里面抽取所需要的name, tags, image_urls, url并存起来到item()

2.pipeline里创建文件夹来存放图片，通过split(), join(),来制作自己需要的文件地址

3.再通过requests.get(url,headers)来读取下载图片，写到文件里

注意！get()里面要加headers！不然下载的图片是空白的，只有几K，打不开！

注意！get()里面要加headers！不然下载的图片是空白的，只有几K，打不开！

注意！get()里面要加headers！不然下载的图片是空白的，只有几K，打不开！

这里卡了很久，网上查不到为什么空白呀！我勒个去！