python爬虫(爬游民星空图片)_beautifulsoup爬虫模版
2016-04-01 00:52
471 查看
import requests,urllib from bs4 import BeautifulSoup ans = 0 for page in range(1,17): if page==1: url='http://www.gamersky.com/ent/201602/713895.shtml' else: url = 'http://www.gamersky.com/ent/201602/713895_'+str(page)+'.shtml' header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/48.0.2564.109 Safari/537.36'} source_code = requests.get(url,headers = header) plain_text = source_code.text soup = BeautifulSoup(plain_text,"lxml") download_links = [] folder_path = 'D://aa/' for pic_tag in soup.find_all('img'): pic_link = pic_tag.get('src') if pic_link.find('img1',7)!=-1: download_links.append(pic_link) for item in download_links: ans = ans+1 urllib.urlretrieve(item,folder_path + item[-10:]) print '_',ans,'_个妹子已经静悄悄地躺在您的yin盘中'
相关文章推荐
- python基于隐马尔可夫模型实现中文拼音输入
- python初识
- Python学习第十五天
- python 下载页面数据 到 execl表
- 一行 Python 实现并行化 -- 日常多线程操作的新思路
- Python学习笔记day11
- python 多继承(新式类) 三
- Python基础知识注意点
- Python写爬虫-爬甘农大学校新闻
- python STMP
- Python 2.7 学习笔记 面向对象的编程
- Python CSV Reader/Writer 例子
- 每天一篇python:时间日期篇
- python之邮件操作
- python语言学习1——初识python
- Python 标准库—— datetime(运行时间的判断)
- 《机器学习实战》——k-近邻算法Python实现问题记录
- python3中的mysql数据库操作
- python指南笔记(1)
- 升级pip8.1.1出现错误,因为安装目录有中文