Python3 爬虫(三) -- 爬取豆瓣首页图片
2016-05-28 17:55
471 查看
序
前面已经完成了简单网页以及伪装浏览器的学习。下面,实现对豆瓣首页所有图片爬取程序,把图片保存到本地一个路径下。首先,豆瓣首页部分图片展示
这只是截取的一部分。下面给出,整个爬虫程序。
爬虫程序
这个爬取图片的程序采用伪装浏览器的方式,只不过是加了处理图片的模块。''' 批量下载豆瓣首页的图片 采用伪装浏览器的方式爬取豆瓣网站首页的图片,保存到指定路径文件夹下 ''' #导入所需的库 import urllib.request,socket,re,sys,os #定义文件保存路径 targetPath = "E:\\projects\\Spider\\03_dbImages" def saveFile(path): #检测当前路径的有效性 if not os.path.isdir(targetPath): os.mkdir(targetPath) #设置每个图片的路径 pos = path.rindex('/') t = os.path.join(targetPath,path[pos+1:]) return t #用if __name__ == '__main__'来判断是否是在直接运行该.py文件 # 网址 url = "https://www.douban.com/" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) ' 'Chrome/51.0.2704.63 Safari/537.36' } req = urllib.request.Request(url=url, headers=headers) res = urllib.request.urlopen(req) data = res.read() for link,t in set(re.findall(r'(https:[^s]*?(jpg|png|gif))', str(data))): print(link) try: urllib.request.urlretrieve(link,saveFile(link)) except: print('失败')
爬取结果
(1)打印出来的信息(2)爬取的图片列表
可以跟豆瓣首页进行对比。
GitHub代码链接
相关文章推荐
- 一段python分级基金数据收集代码
- python编码问题分析
- Python之scrapy实例1
- Python对象(变量)
- Python3 爬虫(二) -- 伪装浏览器
- python:解析XML文件后写入EXCEL(二)
- 《Python基础教程》学习笔记 Chap5 条件、循环和其他语句
- Java\Scala\Python三种语言求解经典编程实例(二)—— 尾数前移
- python学习笔记 1 数学运算
- Python3 爬虫(一)-- 简单网页抓取
- leetcode 22. Generate Parentheses-回溯|递归
- [python]除法
- Java\Scala\Python三种语言求解经典编程实例(一)——求水仙花数
- 好消息! 不用再羡慕Python有jupyter 我R也有Notebook了【附演示视频】
- leetcode 103. Binary Tree Zigzag Level Order Traversal-深度遍历|广度遍历|递归|非递归
- python中的OS模块
- Python之scrapy安装
- python中在list中添加字典遇到的问题
- Scrapy学习
- python-布尔值