Python之异步IO( asyncio) 协程
来源:互联网 发布:贴吧发广告软件 编辑:程序博客网 时间:2024/06/16 11:37
项目中用到了,看了还是知道了点皮毛,整理如下:
python asyncio
网络模型有很多中,为了实现高并发也有很多方案,多线程,多进程。无论多线程和多进程,IO的调度更多取决于系统,而协程的方式,调度来自用户,用户可以在函数中yield一个状态。使用协程可以实现高效的并发任务。Python的在3.4中引入了协程的概念,可是这个还是以生成器对象为基础,3.5则确定了协程的语法。下面将简单介绍asyncio的使用。实现协程的不仅仅是asyncio,tornado和gevent都实现了类似的功能。
- event_loop 事件循环:程序开启一个无限的循环,程序员会把一些函数注册到事件循环上。当满足事件发生的时候,调用相应的协程函数。
- coroutine 协程:协程对象,指一个使用async关键字定义的函数,它的调用不会立即执行函数,而是会返回一个协程对象。协程对象需要注册到事件循环,由事件循环调用。
- task 任务:一个协程对象就是一个原生可以挂起的函数,任务则是对协程进一步封装,其中包含任务的各种状态。
- future: 代表将来执行或没有执行的任务的结果。它和task上没有本质的区别
- async/await 关键字:python3.5 用于定义协程的关键字,async定义一个协程,await用于挂起阻塞的异步调用接口。
上述的概念单独拎出来都不好懂,比较他们之间是相互联系,一起工作。下面看例子,再回溯上述概念,更利于理解。
定义一个协程
定义一个协程很简单,使用async关键字,就像定义普通函数一样:
import timeimport asyncionow = lambda : time.time()async def do_some_work(x): print('Waiting: ', x)start = now()coroutine = do_some_work(2)loop = asyncio.get_event_loop()loop.run_until_complete(coroutine)print('TIME: ', now() - start)
通过async关键字定义一个协程(coroutine),协程也是一种对象。协程不能直接运行,需要把协程加入到事件循环(loop),由后者在适当的时候调用协程。asyncio.get_event_loop方法可以创建一个事件循环,然后使用run_until_complete将协程注册到事件循环,并启动事件循环。因为本例只有一个协程,于是可以看见如下输出:
Waiting: 2TIME: 0.0004658699035644531
创建一个task
协程对象不能直接运行,在注册事件循环的时候,其实是run_until_complete方法将协程包装成为了一个任务(task)对象。所谓task对象是Future类的子类。保存了协程运行后的状态,用于未来获取协程的结果。
import asyncioimport timenow = lambda : time.time()async def do_some_work(x): print('Waiting: ', x)start = now()coroutine = do_some_work(2)loop = asyncio.get_event_loop()# task = asyncio.ensure_future(coroutine)task = loop.create_task(coroutine)print(task)loop.run_until_complete(task)print(task)print('TIME: ', now() - start)
可以看到输出结果为:
<Task pending coro=<do_some_work() running at /Users/ghost/Rsj217/python3.6/async/async-main.py:17>>Waiting: 2<Task finished coro=<do_some_work() done, defined at /Users/ghost/Rsj217/python3.6/async/async-main.py:17> result=None>TIME: 0.0003490447998046875
创建task后,task在加入事件循环之前是pending状态,因为do_some_work中没有耗时的阻塞操作,task很快就执行完毕了。后面打印的finished状态。
asyncio.ensure_future(coroutine) 和 loop.create_task(coroutine)都可以创建一个task,run_until_complete的参数是一个futrue对象。当传入一个协程,其内部会自动封装成task,task是Future的子类。isinstance(task, asyncio.Future)将会输出True。
绑定回调
绑定回调,在task执行完毕的时候可以获取执行的结果,回调的最后一个参数是future对象,通过该对象可以获取协程返回值。如果回调需要多个参数,可以通过偏函数导入。
import timeimport asyncionow = lambda : time.time()async def do_some_work(x): print('Waiting: ', x) return 'Done after {}s'.format(x)def callback(future): print('Callback: ', future.result())start = now()coroutine = do_some_work(2)loop = asyncio.get_event_loop()task = asyncio.ensure_future(coroutine)task.add_done_callback(callback)loop.run_until_complete(task)print('TIME: ', now() - start)
def callback(t, future): print('Callback:', t, future.result())task.add_done_callback(functools.partial(callback, 2))
可以看到,coroutine执行结束时候会调用回调函数。并通过参数future获取协程执行的结果。我们创建的task和回调里的future对象,实际上是同一个对象。
参考自:http://python.jobbole.com/87310/
- Python之异步IO( asyncio) 协程
- 【asyncio】python异步IO
- Python黑魔法 --- 异步IO( asyncio) 协程
- python的异步IO(asyncio aiohttp)
- python的异步IO模块asyncio学习
- Python基础-异步任务IO-asyncio
- 【Python】asyncio异步爬虫
- Python学习:异步IO:协程和asyncio
- swoole深入学习 5. AsyncIO 异步IO
- python爬虫之异步IO
- python——asyncio模块实现协程、异步编程(一)
- python——asyncio模块实现协程、异步编程(二)
- python——asyncio模块实现协程、异步编程(三)
- python asyncio
- Python asyncio文档翻译--asyncio.Future
- Python标准模块--asyncio
- Python asyncio文档翻译
- python asyncio学习记录
- 关于动物的抽象模拟器
- 顺序查找的java、python、go语言的实现
- Android7.0 View.post与Handler.post
- pat 1004---简单的建树+层次遍历
- 文章标题
- Python之异步IO( asyncio) 协程
- 开发文档的简要模板
- QT学习=====QPainter,PaintEvent,setRenderHint(防止图形走样)
- 通过CodeIgniter快速开发Web应用(视图)
- windows下,使用批处理文件运行python程序
- 点分治 模板 poj1714
- http相关的整理
- 安装lnmp并配置可允许远程连接mysql
- 数独求解java