Python asyncio 与 aiohttp 使用简单记录
2017-04-26 11:05
921 查看
asyncio的基本概念
asyncio是在python3.4中被引进的异步IO库。你也可以通过python3.3的pypi来安装它。它相当的复杂,而且我不会介绍太多的细节。相反,我将会解释你需要知道些什么,以利用它来写异步的代码。
简而言之,有两件事情你需要知道:协同程序和事件循环。协同程序像是方法,但是它们可以在代码中的特定点暂停和继续。当在等待一个IO(比如一个HTTP请求),同时执行另一个请求的时候,可以用来暂停一个协同程序。我们使用关键字yield from来设定一个状态,表明我们需要一个协同程序的返回值。
事件循环则被用来安排协同程序的执行。
注意:response的返回调用某些方法,类似json(),本身就是一个generate,所以需要他真实返回内容,需要yield from的关键字。
协调程序:yield from aiohttp.request.....[代码中的特定点暂停和继续, 关键字yield from来设定一个状态,表明我们需要一个协同程序的返回值]
asyncio是在python3.4中被引进的异步IO库。你也可以通过python3.3的pypi来安装它。它相当的复杂,而且我不会介绍太多的细节。相反,我将会解释你需要知道些什么,以利用它来写异步的代码。
简而言之,有两件事情你需要知道:协同程序和事件循环。协同程序像是方法,但是它们可以在代码中的特定点暂停和继续。当在等待一个IO(比如一个HTTP请求),同时执行另一个请求的时候,可以用来暂停一个协同程序。我们使用关键字yield from来设定一个状态,表明我们需要一个协同程序的返回值。
事件循环则被用来安排协同程序的执行。
注意:response的返回调用某些方法,类似json(),本身就是一个generate,所以需要他真实返回内容,需要yield from的关键字。
协调程序:yield from aiohttp.request.....[代码中的特定点暂停和继续, 关键字yield from来设定一个状态,表明我们需要一个协同程序的返回值]
loop.run_until_complete(asyncio.wait([iamasyncio(sku) for sku in skus_list])) # 事件循环则被用来安排协同程序的执行
import asyncio import aiohttp skus = 'xxoo1,xxoo2' skus_list = skus.split(",") URL = 'http://xxoo.xxoo.com/xxoo_api/' @asyncio.coroutine def iamsyncio_req(sku_id): headers = {'content-type': 'application/json'} req_data = { "x": sku_id } response = yield from aiohttp.request('POST', URL, json=req_data, headers=headers) print(response.json()) body = yield from response.json() print(body) if __name__ == '__main__': loop = asyncio.get_event_loop() loop.run_until_complete(asyncio.wait([iamsyncio_req(sku) for sku in skus_list]))
相关文章推荐
- 使用Python创建简单的HTTP和FTP服务
- 记录一下:使用 python -m SimpleHTTPServer 快速搭建http服务
- 使用 aiohttp 和 asyncio 进行异步请求
- Python(27)使用python的http,cgi模块实现一个简单的web服务
- 使用Python创建简单的HTTP和FTP服务
- Python有了asyncio和aiohttp在爬虫这类型IO任务中多线程/多进程还有存在的必要吗?
- python2.7 httplib, urllib, urllib2, requests 库的简单使用
- 【Python3.6爬虫学习记录】(二)使用BeautifulSoup爬取简单静态网页文章
- 使用Python创建简单的HTTP服务(基于SimpleHTTPServer) 和 FTP服务(基于pyftpdlib)
- python3爬虫简单记录-使用CSS选择器
- python2.7 httplib, urllib, urllib2, requests 库的简单使用
- python aiohttp简易使用教程
- python3.x的torndb使用记录(发现网上没有关于torndb的使用说明,可能太简单了吧:-P)
- 使用Python创建简单的HTTP和FTP服务
- 使用python-aiohttp爬取网易云音乐
- 使用python-aiohttp爬取今日头条
- python︱用asyncio、aiohttp实现异步及相关案例
- Python3.6 协程 aiohttp+asyncio+pysql异步爬虫的实现 爬取资源存入数据库
- python实现简单redis客户端(3)使用asyncio添加异步支持
- Python有了asyncio和aiohttp在爬虫这类型IO任务中多线程/多进程还有存在的必要吗?