Python2.7抓取豆瓣美女图片
2017-06-27 22:31
603 查看
python爬虫小例子
安装环境
pycharm
python2.7
BeautifulSoup4
源码下载 GitHub https://github.com/liufengyuqing/PythonPractice/tree/master
安装环境
pycharm
python2.7
BeautifulSoup4
#coding=utf-8 import urllib import urllib2 from bs4 import BeautifulSoup url ='http://www.dbmeinv.com/?pager_offset=1' x=1 def crawl(url): headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'} req = urllib2.Request(url,headers=headers)#伪装浏览器访问 page = urllib2.urlopen(req,timeout=20)#打开网页 contents = page.read()#获取源码 #print contents #html.parser解析网页xml功能更强大 soup = BeautifulSoup(contents,'html.parser')#创建一个soup对象 # 获取图片 find只找一次 find_all找到所有的标签 和正则表达式的区别 my_girl = soup.find_all('img') print my_girl for girl in my_girl: # print girl link = girl.get('src') print link #下载图片,取名字 global x urllib.urlretrieve(link,'E:\\image\%s.jpg'%x) print "正在下载%s。。。"% x x += 1 # 递增 python没有x++ for page in range(1,4): url = 'http://www.dbmeinv.com/?pager_offset=%s'%page crawl(url) print "下载完毕。。。。" crawl(url)
源码下载 GitHub https://github.com/liufengyuqing/PythonPractice/tree/master
相关文章推荐
- python小技巧之批量抓取美女图片
- Python 爬虫爬豆瓣美女图片
- python小技巧之批量抓取美女图片
- Python使用爬虫抓取美女图片并保存到本地的方法【测试可用】
- python美女图片抓取
- Python程序员闲暇时的写的网上抓取美女图片,真是缺女票!
- Python 爬虫抓取美女图片保存到本地
- python抓取豆瓣妹子图片并上传到七牛
- python - 使用 scrapy 抓取美女图片实录
- 利用Python网络爬虫抓取豆瓣首页图片代码分享
- 第二个python爬虫 多页面抓取美女图片
- python抓取豆瓣图片并自动保存示例学习
- 使用python抓取美女福利图片
- Python2.7 自动抓取某贴吧所有帖子的图片
- python 抓取美女图片
- Python -- 网络编程 -- 抓取网页图片 -- 豆瓣妹子
- python抓取豆瓣图片并自动保存示例学习
- Python程序员闲暇时的写的网上抓取美女图片,真是缺女票!
- python网络爬虫抓取图片
- 采集练习(四) python 获得hao123导航图片分类下的美女图片