Python使用requests库模拟登陆网站的方式--以豆瓣为例
2015-08-31 14:04
405 查看
初次接触爬虫的时候,总会看到模拟登录网站的字眼,然后又是get、post等一堆不知道什么意思的字眼。百度get、post之后也不太清楚什么意思,只知道好像是打开网址的时候顺便提交一些数据。然后又在想:我怎么知道哪些网址需要post,又要post什么数据?哪些网址又是需要get的?
后来慢慢接触的多了就知道了,get方式其实没什么,看网址就知道了,比如百度搜索关键词:‘get’,那么只需要http://www.baidu.com/s?wd=%s把%s换为get就可以了。而post方式很多时候会用在登录网站的时候。本片文章就将以python模拟登录豆瓣顺便讲讲post。
1. 通过post方式模拟登录。
post方式登录网站,需要先将必要信息填充到一个dict中,例如:
然后使用requests的post方式进行登录:
这里有几个问题:一是我怎么知道需要哪些信息填写到dict中呢?二是我怎么知道需要post的地址url是哪个呢?
对于这两个问题,以豆瓣为例。
首先打开豆瓣的登录页面
![](http://i3.tietuku.com/25453484e9915080.png)
可以看到需要post的地址就是url=’http://account.douban.com/login’,怎么样?第二个问题是不是很简单?
那么需要哪些数据进行post呢?我们使用firefox浏览器,里面有一个工具叫httpfox,如果没有看到请自行下载。如果不是使用Firefox浏览器,可以下载一个软件叫fiddler。
下面我将以httpfox工具讲述如何知道需要post的数据。
我们先打开httpfox。它张这样子:
![](http://i3.tietuku.com/6db5b0180cdce014.png)
然后在登录页面填写账号密码。再点击登录
![](http://i3.tietuku.com/7099ebf120e1e520.png)
点击登录之后去查看httpfox,找到一个Method是post的一行,点击它(点击登录前建议先清空httpfox列表)。
![](http://i3.tietuku.com/453894df3add2fd0.png)
然后点击POST Data
![](http://i3.tietuku.com/45bd74415e67e3bb.png)
然后就可以看到需要post哪些数据了。对于login那个乱码,我们可以忽略它。然后我们就可以愉快的填写post报头了。:
可以看到上面就是需要post的数据了,其实必要的就两个,一个是form_email,还有一个是form_password,其他都不重要。
有data后就可以直接用requests进行登录了。
当然,有时候会遇到验证码!!!遇到验证码可真抓瞎!本来遇到验证码我是这样想的:先像上面一样post一下,然后把验证码图片抓下来,然后手动输入验证码,接着data中增加输入的验证码再post。。。:
结果不行!!!
反正豆瓣遇到验证码我是没办法了!
难道我就不登录了吗??显然还有其他办法。下面就介绍第二种办法。
2. 通过外部获得cookies模拟登陆。新手建议用这个
其实第一种方法也是要先获得cookies,然后再在有cookies的情况下去抓取数据。既然只是要cookies,那么为什么不可以直接从外部引入cookies呢?
好,既然这样,我们就先从如何获取cookies说起吧!
首先,还是请来我们的老朋友:httpfox。Httpfox真的挺不错的~~我们还是以豆瓣为例。我们先打开httpfox,登录豆瓣。
![](http://img.blog.csdn.net/20150831141917076?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
然后随便浏览一个页面,比如“我的豆瓣”,点击它进去以后,切换到httpfox。(浏览之前先清空httpfox列表)
切换到httpfox之后就可以看到第一行数据。
![](http://img.blog.csdn.net/20150831142046120?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQv/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center)
点击它,就可以在下方看到cookies了。我们把cookies复制下来就得到了cookies了!!是不是很简单呢?
得到cookies之后,requests还不能直接用,还需要处理一下。
我们可以看到的是,得到的cookies格式是这样的:
bid=xxxxx;_pk_ref.100001.8cb4=xxxxxxx;__utma=xxxxx;…
我们只需要把这种格式的cookies转换成字典就可以了。
后来慢慢接触的多了就知道了,get方式其实没什么,看网址就知道了,比如百度搜索关键词:‘get’,那么只需要http://www.baidu.com/s?wd=%s把%s换为get就可以了。而post方式很多时候会用在登录网站的时候。本片文章就将以python模拟登录豆瓣顺便讲讲post。
1. 通过post方式模拟登录。
post方式登录网站,需要先将必要信息填充到一个dict中,例如:
Data={‘username’:username,’password’:password}
然后使用requests的post方式进行登录:
requests.get(url,data=data)
这里有几个问题:一是我怎么知道需要哪些信息填写到dict中呢?二是我怎么知道需要post的地址url是哪个呢?
对于这两个问题,以豆瓣为例。
首先打开豆瓣的登录页面
![](http://i3.tietuku.com/25453484e9915080.png)
可以看到需要post的地址就是url=’http://account.douban.com/login’,怎么样?第二个问题是不是很简单?
那么需要哪些数据进行post呢?我们使用firefox浏览器,里面有一个工具叫httpfox,如果没有看到请自行下载。如果不是使用Firefox浏览器,可以下载一个软件叫fiddler。
下面我将以httpfox工具讲述如何知道需要post的数据。
我们先打开httpfox。它张这样子:
![](http://i3.tietuku.com/6db5b0180cdce014.png)
然后在登录页面填写账号密码。再点击登录
![](http://i3.tietuku.com/7099ebf120e1e520.png)
点击登录之后去查看httpfox,找到一个Method是post的一行,点击它(点击登录前建议先清空httpfox列表)。
![](http://i3.tietuku.com/453894df3add2fd0.png)
然后点击POST Data
![](http://i3.tietuku.com/45bd74415e67e3bb.png)
然后就可以看到需要post哪些数据了。对于login那个乱码,我们可以忽略它。然后我们就可以愉快的填写post报头了。:
<span style="font-size:18px;"><span style="white-space:pre"> </span>Data={'source':None, <span style="white-space:pre"> </span>'redir':'http://www.douban.com', <span style="white-space:pre"> </span>'form_email':username, <span style="white-space:pre"> </span>'form_password':password, <span style="white-space:pre"> </span>'remember':'on'}</span>
可以看到上面就是需要post的数据了,其实必要的就两个,一个是form_email,还有一个是form_password,其他都不重要。
有data后就可以直接用requests进行登录了。
<span style="white-space:pre"> </span>requests.post(url,data=data)
当然,有时候会遇到验证码!!!遇到验证码可真抓瞎!本来遇到验证码我是这样想的:先像上面一样post一下,然后把验证码图片抓下来,然后手动输入验证码,接着data中增加输入的验证码再post。。。:
url='https://accounts.douban.com/login' data={'redir':'http://www.douban.com', 'form_email':'xxxxx@qq.com', 'form_password':'xxxxx', 'remember':'on'} #获得验证码id captchid=req.get('http://www.douban.com/j/new_captcha',headers=headers).content #得到验证码 captchurl='http://douban.com/misc/captcha?size=m&id='+captchid #下面三步为显示验证码 f=cStringIO.StringIO(urllib2.urlopen(captchurl).read()) img=Image.open(f) img.show() #输入验证码 codeimg=raw_input('plz input the veritify cpde:') data['captcha-solution']=codeimg data['captcha_id']=captchid #s=req.post(url,data=data,headers=headers)
结果不行!!!
反正豆瓣遇到验证码我是没办法了!
难道我就不登录了吗??显然还有其他办法。下面就介绍第二种办法。
2. 通过外部获得cookies模拟登陆。新手建议用这个
其实第一种方法也是要先获得cookies,然后再在有cookies的情况下去抓取数据。既然只是要cookies,那么为什么不可以直接从外部引入cookies呢?
好,既然这样,我们就先从如何获取cookies说起吧!
首先,还是请来我们的老朋友:httpfox。Httpfox真的挺不错的~~我们还是以豆瓣为例。我们先打开httpfox,登录豆瓣。
然后随便浏览一个页面,比如“我的豆瓣”,点击它进去以后,切换到httpfox。(浏览之前先清空httpfox列表)
切换到httpfox之后就可以看到第一行数据。
点击它,就可以在下方看到cookies了。我们把cookies复制下来就得到了cookies了!!是不是很简单呢?
得到cookies之后,requests还不能直接用,还需要处理一下。
我们可以看到的是,得到的cookies格式是这样的:
bid=xxxxx;_pk_ref.100001.8cb4=xxxxxxx;__utma=xxxxx;…
我们只需要把这种格式的cookies转换成字典就可以了。
cookies={} for line in raw_cookies.split(';'): key,value=line.split('=',1)#1代表只分一次,得到两个数据 cookies[key]=value有了cookies之后我们就可以进行模拟登录了!
testurl='http://www.douban.com/people/71263652/' s=req.get(testurl,cookies=cookies)到这里就已经模拟登录成功了!是不是比第一种方法简单很多呢?
相关文章推荐
- 特征提取的相关博客
- 使用Python的requests库作接口测试——请求对象与响应对象
- python 学习笔记--列表,无组,字典的区别
- Python多线程
- 64位Win8环境的Python数值分析库安装(原创)
- 零基础学python-10.1 序列赋值高级应用
- 零基础学python-10.1 序列赋值高级应用
- 高德软件有限公司python试题 及 答案
- python pika 操作 rabbitmq
- python读取 .txt 文本内容以及将程序执行结果写入txt文件
- 利用python重启路由器
- python学习-函数定义理解
- Python操作数据库
- python __add__和__radd__ 和 __iadd__
- python基础(二)
- 使用Python的requests库进行接口测试——session对象的妙用
- python 可变不可变类型
- python 模块
- python的类变量和实例变量
- Python 操作.csv文件