带cookies的python爬虫
2016-08-23 15:20
274 查看
上关键代码:
filename = 'D:/cookie.txt'
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
curl = 'http://www.quyundong.com'
response = opener.open(curl)
cookie.save(ignore_discard=True, ignore_expires=True)
url = 'http://www.quyundong.com/index/businesslist?random='+random+'&page='+page+'&cat_id=®ion_id='
result = opener.open(url)
附上链接:http://cuiqingcai.com/968.html
小贴士:
python的字符串编码经常会出现问题, source = unicode(the_page, 'utf-8')可以解决asc码问题
txt追加方式写入使用属性a+
filename = 'D:/cookie.txt'
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
curl = 'http://www.quyundong.com'
response = opener.open(curl)
cookie.save(ignore_discard=True, ignore_expires=True)
url = 'http://www.quyundong.com/index/businesslist?random='+random+'&page='+page+'&cat_id=®ion_id='
result = opener.open(url)
附上链接:http://cuiqingcai.com/968.html
小贴士:
python的字符串编码经常会出现问题, source = unicode(the_page, 'utf-8')可以解决asc码问题
txt追加方式写入使用属性a+
相关文章推荐
- python爬虫之cookies
- python 爬虫4 cookies
- python爬虫基础知识之requests,读取图片的两只方式,cookies,beautifulsoup
- python 爬虫2 介绍一下怎么抓取cookies,python多线程
- python cookies 爬虫处理
- python爬虫基础-Cookies
- python爬虫环境简便的搭建方案
- python爬虫框架scrapy学习笔记
- 使用Python爬取学校学生信息!(简单爬虫)
- 【教程】记录:python基础爬虫代码(下载妹子福利图片)
- [python爬虫] Selenium爬取新浪微博内容及用户信息
- Python学习 第7天 爬虫-1 构思
- Python实现爬取知乎神回复简单爬虫代码分享
- 【新手】python爬虫遍历贴吧用户
- python爬虫——安装mongodb时遇到的问题
- 用Python 爬虫爬取贴吧图片
- python妹子图简单爬虫实例
- python爬虫(9)获取动态搞笑图片
- python 爬虫括号的用法
- 小白如何入门 Python 爬虫?