您的位置:首页 > 编程语言 > Python开发

带cookies的python爬虫

2016-08-23 15:20 274 查看
上关键代码:

filename = 'D:/cookie.txt'
cookie = cookielib.MozillaCookieJar(filename)
opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cookie))
curl = 'http://www.quyundong.com'
response = opener.open(curl)
cookie.save(ignore_discard=True, ignore_expires=True)
url = 'http://www.quyundong.com/index/businesslist?random='+random+'&page='+page+'&cat_id=®ion_id='
result = opener.open(url)

附上链接:http://cuiqingcai.com/968.html

小贴士:

python的字符串编码经常会出现问题, source = unicode(the_page, 'utf-8')可以解决asc码问题

txt追加方式写入使用属性a+
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: