Python爬虫(02)从网站下载图片
2018-03-02 16:56
986 查看
参考地址:http://blog.csdn.net/csdn2497242041/article/details/77170746
1. soup.find_all('img')可以设置多个筛选的属性
2.request.urlretrieve(url, filename)将所有远程链接数据下载到本地
目标网站为知乎的一篇帖子,下载从中爬取图片,先看一下源码以确定搜索的格式:<img src="https://pic2.zhimg.com/50/9ea38ee8037b66b88a2425f833c4248d_hd.jpg" data-rawwidth="1528" data-rawheight="1528" class="origin_image zh-lightbox-thumb" width="1528" data-original="https://pic2.zhimg.com/9ea38ee8037b66b88a2425f833c4248d_r.jpg">
对比后发现搜索的格式可以为由img、class="origin_image zh-lightbox-thumb"和src来确定
附上源码:# _*_ coding:utf-8 _*_
import re
from urllib import request
from bs4 import BeautifulSoup
import time
__author__ = 'admin'
# 目标网站地址
url = "https://www.zhihu.com/question/22918070"
# 构造报文头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
# url请求,返回request对象
page = request.Request(url=url, headers=headers)
# 打开返回的网址
page_info = request.urlopen(page).read().decode('utf-8')
# 格式化网页
soup = BeautifulSoup(page_info, 'html.parser')
# 查找指定类型图片
links = soup.find_all('img', 'origin_image zh-lightbox-thumb', src=re.compile(r'.jpg$'))
# 打印搜索到的图片链接
# print(links)
# 设置图片在本地存储的位置
path = r'D:\pic'
# 使用request.urlretrieve直接将所有远程链接数据下载到本地
for link in links:
print(link.attrs['src'])
request.urlretrieve(link.attrs['src'], path + '\%s.jpg' % time.time())
结果:
文件下载结果:
1. soup.find_all('img')可以设置多个筛选的属性
2.request.urlretrieve(url, filename)将所有远程链接数据下载到本地
目标网站为知乎的一篇帖子,下载从中爬取图片,先看一下源码以确定搜索的格式:<img src="https://pic2.zhimg.com/50/9ea38ee8037b66b88a2425f833c4248d_hd.jpg" data-rawwidth="1528" data-rawheight="1528" class="origin_image zh-lightbox-thumb" width="1528" data-original="https://pic2.zhimg.com/9ea38ee8037b66b88a2425f833c4248d_r.jpg">
<img src="https://pic4.zhimg.com/50/8efbea49d1e8aed6716b309e48ec393a_hd.jpg" data-rawwidth="1234" data-rawheight="1642" class="origin_image zh-lightbox-thumb" width="1234" data-original="https://pic4.zhimg.com/8efbea49d1e8aed6716b309e48ec393a_r.jpg">
<img src="https://pic7.zhimg.com/50/15f9cb2c98e29cd19f8f70440aea435b_hd.jpg" data-rawwidth="1531" data-rawheight="2048" class="origin_image zh-lightbox-thumb" width="1531" data-original="https://pic7.zhimg.com/15f9cb2c98e29cd19f8f70440aea435b_r.jpg">
对比后发现搜索的格式可以为由img、class="origin_image zh-lightbox-thumb"和src来确定
附上源码:# _*_ coding:utf-8 _*_
import re
from urllib import request
from bs4 import BeautifulSoup
import time
__author__ = 'admin'
# 目标网站地址
url = "https://www.zhihu.com/question/22918070"
# 构造报文头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
}
# url请求,返回request对象
page = request.Request(url=url, headers=headers)
# 打开返回的网址
page_info = request.urlopen(page).read().decode('utf-8')
# 格式化网页
soup = BeautifulSoup(page_info, 'html.parser')
# 查找指定类型图片
links = soup.find_all('img', 'origin_image zh-lightbox-thumb', src=re.compile(r'.jpg$'))
# 打印搜索到的图片链接
# print(links)
# 设置图片在本地存储的位置
path = r'D:\pic'
# 使用request.urlretrieve直接将所有远程链接数据下载到本地
for link in links:
print(link.attrs['src'])
request.urlretrieve(link.attrs['src'], path + '\%s.jpg' % time.time())
结果:
文件下载结果:
相关文章推荐
- python 爬虫下载网站图片
- Python爬虫小实践:下载妹子图www.mzitu.com网站上所有的妹子图片,并按相册名字建立文件夹分好文件名
- python自学笔记(8)--Python简单爬虫从网站上下载图片和用第三方库request实现百度翻译
- Python爬虫下载网站上的图片到本地
- 使用python进行爬虫下载指定网站的图片
- python成长日记1:使用python访问网站,下载图片
- python爬虫:下载百度贴吧图片(多页)学习笔记
- python学习笔记(14)--爬虫下载漫画图片修改版
- python 爬虫某网站图片
- Python爬虫实战(五) :下载百度贴吧帖子里的所有图片
- python抓取网站的图片并下载到本地的方法
- python学习:urllib库学习:制作简易爬虫下载图片
- python 网页爬虫,下载网络图片
- python爬虫图片下载
- Python爬虫之多线程下载豆瓣Top250电影图片
- 运维学python之爬虫高级篇(四)Item Pipeline介绍(附爬取网站获取图片到本地代码) 推荐
- python利用urllib实现爬取京东网站商品图片的爬虫实例
- python批量下载兰科植物网站的图片,并重命名文件
- 每天一篇python:简单爬虫下载图片篇
- python学习 二 06 爬一个图片网站-多线程方式下载