Python 第三方 http 库-Requests 学习
2014-12-04 18:25
411 查看
Requests是用Python语言编写,基于 urllib,采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便,可以节约我们大量的工作,完全满足 HTTP 测试需求
Code example:
或者,下载代码后安装:
Code example:
再懒一点,通过IDE安装吧,如pycharm!
Code example:
很简单吧!不但GET方法简单,其他方法都是统一的接口样式哦!
requests.get(‘https://github.com/timeline.json’)#GET请求
requests.post(“http://httpbin.org/post”)#POST请求
requests.put(“http://httpbin.org/put”)#PUT请求
requests.delete(“http://httpbin.org/delete”)#DELETE请求
requests.head(“http://httpbin.org/get”)#HEAD请求
requests.options(“http://httpbin.org/get”)#OPTIONS请求
PS:以上的HTTP方法,对于WEB系统一般只支持 GET 和 POST,有一些还支持 HEAD 方法。
带参数的请求实例:
Code example:
POST发送JSON数据:
Code example:
定制header:
Code example:
获取文本方式的响应体实例:当你访问 r.text 之时,会使用其响应的文本编码进行解码,并且你可以修改其编码让 r.text 使用自定义的编码进行解码。
Code example:
其他响应:
r.status_code #响应状态码
r.raw #返回原始响应体,也就是 urllib 的 response 对象,使用 r.raw.read()读取
r.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体,会自动根据响应头部的字符编码进行解码
r.headers#以字典对象存储服务器响应头,但是这个字典比较特殊,字典键不区分大小写,若键不存在则返回None
#*特殊方法*#
r.json()#Requests中内置的JSON解码器
r.raise_for_status()#失败请求(非200响应)抛出异常
案例之一:
Code example:
Code example:
更加方便的是,你可以把字符串当着文件进行上传:
Code example:
Code example:
另一种非常流行的HTTP身份认证形式是摘要式身份认证,Requests对它的支持也是开箱即可用的:
Code example:
Code example:
要想发送你的cookies到服务器,可以使用 cookies参数:
Code example:
会话对象让你能够跨请求保持某些参数,最方便的是在同一个Session实例发出的所有请求之间保持cookies,且这些都是自动处理的,甚是方便。
下面就来一个真正的实例,如下是快盘签到脚本:
Code example:
Code example:
所有Requests显式抛出的异常都继承自 requests.exceptions.RequestException:ConnectionError、HTTPError、Timeout、TooManyRedirects。
一、安装 Requests
通过pip安装1 | $pip install requests |
1 2 3 | $git clone git: //github .com /kennethreitz/requests .git $ cd requests $python setup.py install |
二、发送请求与传递参数
先来一个简单的例子吧!让你了解下其威力:1 2 3 4 5 6 7 | import requests r = requests.get(url = 'http://www.itwhy.org' ) # 最基本的GET请求 (r.status_code) # 获取返回状态 r = requests.get(url = 'http://dict.baidu.com/s' ,params = { 'wd' : 'python' }) #带参数的GET请求 (r.url) (r.text) #打印解码后的返回数据 |
requests.get(‘https://github.com/timeline.json’)#GET请求
requests.post(“http://httpbin.org/post”)#POST请求
requests.put(“http://httpbin.org/put”)#PUT请求
requests.delete(“http://httpbin.org/delete”)#DELETE请求
requests.head(“http://httpbin.org/get”)#HEAD请求
requests.options(“http://httpbin.org/get”)#OPTIONS请求
PS:以上的HTTP方法,对于WEB系统一般只支持 GET 和 POST,有一些还支持 HEAD 方法。
带参数的请求实例:
1 2 3 | import requests requests.get( 'http://www.dict.baidu.com/s' ,params = { 'wd' : 'python' }) #GET参数实例 requests.post( 'http://www.itwhy.org/wp-comments-post.php' ,data = { 'comment' : '测试POST' }) #POST参数实例 |
1 2 3 4 5 | import requests import json r = requests.post( 'https://api.github.com/some/endpoint' ,data = json.dumps({ 'some' : 'data' })) (r.json()) |
1 2 3 4 5 6 7 8 9 | import requests import json data = { 'some' : 'data' } headers = { 'content-type' : 'application/json' , 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0)Gecko/20100101 Firefox/22.0' } r = requests.post( 'https://api.github.com/some/endpoint' ,data = data,headers = headers) (r.text) |
三、Response对象
使用requests方法后,会返回一个response对象,其存储了服务器响应的内容,如上实例中已经提到的 r.text、r.status_code……获取文本方式的响应体实例:当你访问 r.text 之时,会使用其响应的文本编码进行解码,并且你可以修改其编码让 r.text 使用自定义的编码进行解码。
1 2 3 4 | r = requests.get( 'http://www.itwhy.org' ) (r.text, 'n{}n' . format ( '*' * 79 ),r.encoding) r.encoding = 'GBK' (r.text, 'n{}n' . format ( '*' * 79 ),r.encoding) |
r.status_code #响应状态码
r.raw #返回原始响应体,也就是 urllib 的 response 对象,使用 r.raw.read()读取
r.content #字节方式的响应体,会自动为你解码 gzip 和 deflate 压缩
r.text #字符串方式的响应体,会自动根据响应头部的字符编码进行解码
r.headers#以字典对象存储服务器响应头,但是这个字典比较特殊,字典键不区分大小写,若键不存在则返回None
#*特殊方法*#
r.json()#Requests中内置的JSON解码器
r.raise_for_status()#失败请求(非200响应)抛出异常
案例之一:
1 2 3 4 5 6 7 8 9 10 11 | import requests URL = 'http://ip.taobao.com/service/getIpInfo.php' # 淘宝IP地址库API try : r = requests.get(URL,params = { 'ip' : '8.8.8.8' },timeout = 1 ) r.raise_for_status() # 如果响应状态码不是 200,就主动抛出异常 except requests.RequestException ase: (e) else : result = r.json() ( type (result),result,sep = 'n' ) |
四、上传文件
使用 Requests模块,上传文件也是如此简单的,文件的类型会自动进行处理:1 2 3 4 5 6 7 8 | import requests url = 'http://127.0.0.1:5000/upload' files = { 'file' : open ( '/home/lyb/sjzl.mpg' , 'rb' )} #files= {'file':('report.jpg',open('/home/lyb/sjzl.mpg','rb'))}#显式的设置文件名 r = requests.post(url,files = files) (r.text) |
1 2 3 4 5 6 7 | import requests url = 'http://127.0.0.1:5000/upload' files = { 'file' :( 'test.txt' ,b 'Hello Requests.' )} #必需显式的设置文件名 r = requests.post(url,files = files) (r.text) |
五、身份验证
基本身份认证(HTTP Basic Auth):1 2 3 4 5 6 | import requests from requests.auth import HTTPBasicAuth r = requests.get( 'https://httpbin.org/hidden-basic-auth/user/passwd' ,auth = HTTPBasicAuth( 'user' , 'passwd' )) # r= requests.get('https://httpbin.org/hidden-basic-auth/user/passwd',auth=('user','passwd'))# 简写 (r.json()) |
1 | requests.get(URL,auth = HTTPDigestAuth( 'user' , 'pass' )) |
六、Cookies与会话对象
如果某个响应中包含一些Cookie,你可以快速访问它们:1 2 3 4 5 | import requests r = requests.get( 'http://www.google.com.hk/' ) (r.cookies[ 'NID' ]) ( tuple (r.cookies)) |
1 2 3 4 5 6 7 | import requests url = 'http://httpbin.org/cookies' cookies = { 'testCookies_1' : 'Hello_Python3' , 'testCookies_2' : 'Hello_Requests' } # 在Cookie Version 0中规定空格、方括号、圆括号、等于号、逗号、双引号、斜杠、问号、@,冒号,分号等特殊符号都不能作为Cookie的内容。 r = requests.get(url,cookies = cookies) (r.json()) |
下面就来一个真正的实例,如下是快盘签到脚本:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 | import requests headers = { 'Accept' : 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' , 'Accept-Encoding' : 'gzip,deflate,compress' , 'Accept-Language' : 'en-us;q=0.5,en;q=0.3' , 'Cache-Control' : 'max-age=0' , 'Connection' : 'keep-alive' , 'User-Agent' : 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:22.0)Gecko/20100101 Firefox/22.0' } s = requests.Session() s.headers.update(headers) # s.auth = ('superuser','123') s.get( 'https://www.kuaipan.cn/account_login.htm' ) _URL = 'http://www.kuaipan.cn/index.php' s.post(_URL,params = { 'ac' : 'account' , 'op' : 'login' }, data = { 'username' : '****@foxmail.com' , 'userpwd' : '********' , 'isajax' : 'yes' }) r = s.get(_URL,params = { 'ac' : 'zone' , 'op' : 'taskdetail' }) (r.json()) s.get(_URL,params = { 'ac' : 'common' , 'op' : 'usersign' }) |
七、超时与异常
timeout 仅对连接过程有效,与响应体的下载无关。1 2 3 4 | >>> requests.get( 'http://github.com' ,timeout = 0.001 ) Traceback (most recent call last): File "<stdin>" ,line 1 , in <module> requests.exceptions.Timeout:HTTPConnectionPool(host = 'github.com' ,port = 80 ):Request timed out. (timeout = 0.001 ) |
相关文章推荐
- 【转】Python 第三方 http 库-Requests 学习
- Python 第三方 http 库-Requests 学习
- Python 第三方 http 库-Requests 学习
- Python 第三方 http 库-Requests 学习
- Python 最好用的第三方 http 库-Requests介绍
- Requests:Python HTTP Module学习笔记(二)(转)
- Requests: 让 HTTP 服务人类(Python第三方模块requests介绍及使用方法)
- python第三方库学习(2):requests
- Python第三方库Requests学习
- Python学习之Http
- Python模拟http协议初步学习(002)
- Python模拟http协议初步学习(001)
- Python模块学习 - Requests
- Python模块学习 ---- httplib HTTP协议客户端实现
- IOS学习:常用第三方库(ASIHttpRequest)
- python第三方库学习(3):BeautifulSoup
- 分享:Requests 1.0 发布,Python 的 HTTP 客户端库
- python第三方库系列之二十四--http-web库
- Requests 1.0 发布,Python 的 HTTP 客户端库
- Python模块学习 ---- httplib HTTP协议客户端实现