python基础-协程gevent用法、协程同步异步、协程socket并发例子
来源:互联网 发布:vc ado access数据库 编辑:程序博客网 时间:2024/06/13 03:52
- 协程引入
- 协程概念
- gevent用法
- gevent例子1
- gevent例子2
- gevent例子3
- gevent例子4
- 同步异步
- 协程下的socket并发
协程引入
本节的主题是基于单线程来实现并发,即只用一个主线程(很明显可利用的cpu只有一个)情况下实现并发,为此我们需要先回顾下并发的本质:切换+保存状态
cpu正在运行一个任务,会在两种情况下切走去执行其他的任务(切换由操作系统强制控制),一种情况是该任务发生了阻塞,另外一种情况是该任务计算的时间过长
协程的本质就是在单线程下,由用户自己控制一个任务遇到io阻塞了就切换另外一个任务去执行,以此来提升效率。为了实现它,我们需要找寻一种可以同时满足以下条件的解决方案:
可以控制多个任务之间的切换,切换之前将任务的状态保存下来,以便重新运行时,可以基于暂停的位置继续执行。
作为1的补充:可以检测io操作,在遇到io操作的情况下才发生切换
协程概念
协程:是单线程下的并发,又称微线程,纤程。英文名Coroutine。一句话说明什么是线程:协程是一种用户态的轻量级线程,即协程是由用户程序自己控制调度的。
需要注意的是:
1. python的线程属于内核级别的,即由操作系统控制调度(如单线程遇到io或执行时间过长就会被迫交出cpu执行权限,切换其他线程运行)
2. 单线程内开启协程,一旦遇到io,就会从应用程序级别(而非操作系统)控制切换,以此来提升效率(!!!非io操作的切换与效率无关)
3、 必须在只有一个单线程里实现并发
4、修改共享数据不需加锁
5、用户程序里自己保存多个控制流的上下文栈
6、附加:一个协程遇到IO操作自动切换到其它协程(如何实现检测IO,yield、greenlet都无法实现,就用到了gevent模块(select机制))
gevent用法
g1=gevent.spawn(func,1,,2,3,x=4,y=5)创建一个协程对象g1,spawn括号内第一个参数是函数名,如eat,后面可以有多个参数,可以是位置实参或关键字实参,都是传给函数eat的
g2=gevent.spawn(func2)
g1.join() #等待g1结束
g2.join() #等待g2结束
或者上述两步合作一步:gevent.joinall([g1,g2])
g1.value#拿到func1的返回值
gevent.sleep(2)模拟的是gevent可以识别的io阻塞,
而time.sleep(2)或其他的阻塞,gevent是不能直接识别的需要用下面一行代码,打补丁,就可以识别了
from gevent import monkey;monkey.patch_all()必须放到被打补丁者的前面,如time,socket模块之前
或者我们干脆记忆成:要用gevent,需要将from gevent import monkey;monkey.patch_all()放到文件的开头
gevent例子1
我们来看一个例子如下:
from gevent import monkey;monkey.patch_all()import geventimport timedef task1(name): print('%s is run 1' %name) time.sleep(3) print('%s is run 2' %name)def task2(name): print('%s is run 1' %name) time.sleep(2) print('%s is run 2' %name)g1=gevent.spawn(task1,'alex')g2=gevent.spawn(task2,'egon')print('main')
运行代码我们看到task1、task2没有输出:
E:\python\python_sdk\python.exe "E:/python/py_pro/1206/1 gevent模块.py"mainProcess finished with exit code 0
原因是:gevent是异步提交,主线程执行完毕,就退出了,需要添加join才能实现io阻塞,实现任务切换
gevent例子2
我们继续修改上面的例子:
from gevent import monkey;monkey.patch_all()import geventimport timedef task1(name): print('%s is run 1' %name) time.sleep(3) print('%s is run 2' %name)def task2(name): print('%s is run 1' %name) time.sleep(2) print('%s is run 2' %name)g1=gevent.spawn(task1,'alex')g2=gevent.spawn(task2,'egon')time.sleep(2.5)print('main')
输出如下:
alex is run 1egon is run 1egon is run 2main
上例我们可以看出,通过time.sleep(2.5)方式,也可以实现切换
gevent例子3
from gevent import monkey;monkey.patch_all()import geventimport timedef task1(name): print('%s is run 1' %name) time.sleep(3) print('%s is run 2' %name)def task2(name): print('%s is run 1' %name) time.sleep(2) print('%s is run 2' %name)g1=gevent.spawn(task1,'alex')g2=gevent.spawn(task2,'egon')g2.join()print('main')
输出如下:
alex is run 1egon is run 1egon is run 2main
gevent例子4
接下来我们看一个完整的例子:
from gevent import monkey;monkey.patch_all()import geventimport timedef eat(name): print('%s eat 1' %name) gevent.sleep(2) print('%s eat 2' %name)def play(name): print('%s play 1' %name) gevent.sleep(1) print('%s play 2' %name)g1=gevent.spawn(eat,'egon')g2=gevent.spawn(play,name='egon')g1.join()g2.join()#或者gevent.joinall([g1,g2])print('主')
输出如下:
egon eat 1egon play 1egon play 2egon eat 2主
上面代码 的意思是:
开启g1,g2,并且等待其结束,eat函数执行 print(‘%s eat 1’ %name),play函数执行 print(‘%s play 1’ %name),然后eat,play函数进行sleep,这时候就在两个函数之间来回切换,直至到函数任务执行完毕
同步异步
from gevent import spawn,joinall,monkey;monkey.patch_all()import timedef task(pid): """ Some non-deterministic task """ time.sleep(2) print('Task %s done' % pid)def synchronous(): for i in range(3): task(i)def asynchronous(): g_l=[spawn(task,i) for i in range(3)] joinall(g_l)if __name__ == '__main__': print('Synchronous:') synchronous() print('Asynchronous:') asynchronous()
输出如下:
Synchronous:Task 0 doneTask 1 doneTask 2 doneAsynchronous:Task 0 doneTask 2 doneTask 1 done
上面程序的重要部分是将task函数封装到Greenlet内部线程的gevent.spawn。 初始化的greenlet列表存放在数组threads中,此数组被传给gevent.joinall 函数,后者阻塞当前流程,并执行所有给定的greenlet。执行流程只会在 所有greenlet执行完后才会继续向下走。
协程下的socket并发
服务端:
from gevent import monkey;monkey.patch_all()from socket import *import geventdef server(server_ip,port): s=socket(AF_INET,SOCK_STREAM) s.setsockopt(SOL_SOCKET,SO_REUSEADDR,1) s.bind((server_ip,port)) s.listen(5) while True: conn,addr=s.accept() gevent.spawn(talk,conn,addr)def talk(conn,addr): try: while True: res=conn.recv(1024) print('client %s:%s msg: %s' %(addr[0],addr[1],res)) conn.send(res.upper()) except Exception as e: print(e) finally: conn.close()if __name__ == '__main__': server('127.0.0.1',8080)
客户端:
from socket import *client=socket(AF_INET,SOCK_STREAM)client.connect(('127.0.0.1',8080))while True: msg=input('>>: ').strip() if not msg:continue client.send(msg.encode('utf-8')) msg=client.recv(1024) print(msg.decode('utf-8'))
简单说下上面例子流程:
在服务端s.accept存在io,conn.recv(1024)存在io,
服务端开启协程talk
当服务端启动在没有客户端请求时,
服务端协程会监测recv是否有io,当没有链接请求时候,
会在recv和accept之间切换
下面是多线程并发多个客户端
客户端:
from threading import Threadfrom socket import *import threadingdef client(server_ip,port): c=socket(AF_INET,SOCK_STREAM) #套接字对象一定要加到函数内,即局部名称空间内,放在函数外则被所有线程共享,则大家公用一个套接字对象,那么客户端端口永远一样了 c.connect((server_ip,port)) count=0 while True: c.send(('%s say hello %s' %(threading.current_thread().getName(),count)).encode('utf-8')) msg=c.recv(1024) print(msg.decode('utf-8')) count+=1if __name__ == '__main__': for i in range(5): t=Thread(target=client,args=('127.0.0.1',8080)) t.start()
- python基础-协程gevent用法、协程同步异步、协程socket并发例子
- gevent 协程并发
- python# 进程/线程/协程 # IO:同步/异步/阻塞/非阻塞 # greenlet gevent # 事件驱动与异步IO # Select\Poll\Epoll异步IO 以及selector
- Python gevent协程
- Python - 协程 - Gevent - yield
- 协程-gevent(python版)
- python 协程与gevent
- Gevent的socket协程安全性分析
- 高并发异步uwsgi+web.py+gevent
- python gevent使用-最简单把同步程序变成异步程序
- [python协程gevent]之greenlet初识
- python中的协程模块gevent
- python中的协程:greenlet和gevent
- GCD 同步 异步 串行 并发的使用方法.例子 和特点
- GCD 同步 异步 串行 并发的使用方法.例子 和特点
- 协程、同步异步、并发、并行、rabbitmq、分布式任务队列
- 并发,同步异步
- 多线程相关的一些基础概念:同步、异步、并发、并行
- WKWebView的使用和各种坑的解决方法(OC+Swift)
- nginx负载均衡session共享问题
- SpringMVC接收复杂集合参数
- OpenCV_用积分图像统计像素
- Educational Codeforces Round 33 (Rated for Div. 2) 893A. Chess For Three
- python基础-协程gevent用法、协程同步异步、协程socket并发例子
- 银行卡四要素验证补充测试
- 实战人品预测之一_国内大数据竞赛平台
- 码表的理解(ASCII,GBK,Unicode,UTF-8等)
- 深入阅读Mina源码(3) —— Mina之IOAdapter(二)
- 进程控制编程
- Android四大组件 BroadCasrReciver
- 如何实现session共享
- bzoj3237[Ahoi2013]连通图 cdq分治+并查集