python并发
来源:互联网 发布:xp添加网络打印机 url 编辑:程序博客网 时间:2024/06/13 12:42
1,线程(Thread)
使用多线程可以有效的利用CPU资源(Python例外)。然而多线程所带来的程序的复杂度也不可避免,尤其是对竞争资源的同步问题。 然而在python中由于使用了全局解释锁(GIL)的原因,代码并不能同时在多核上并发的运行,也就是说,Python的多线程不能并发,使用多线程来改进自己的Python代码后,程序的运行效率却下降了。
实际上使用多线程的编程模型是很困难的,程序员很容易犯错,这并不是程序员的错误,因为并行思维是反人类的,我们大多数人的思维是串行,而且冯诺依曼设计的计算机架构也是以顺序执行为基础的。所以如果你总是不能把你的多线程程序搞定。
Python提供两组线程的接口:一是thread模块,提供基础的,低等级(Low Level)接口,使用Function作为线程的运行体。还有一组是threading模块,提供更容易使用的基于对象的接口(类似于Java),可以继承Thread对象来实现线程,还提供了其它一些线程相关的对象。例如Timer,Lock :
使用thread模块的例子:
import threaddef worker(): """thread worker function""" print 'Worker'thread.start_new_thread(worker)
使用threading模块的例子:
import threadingdef worker(): """thread worker function""" print 'Worker't = threading.Thread(target=worker)t.start()
2,进程 (Process)
由于前文提到的全局解释锁的问题,Python下比较好的并行方式是使用多进程,这样可以非常有效的使用CPU资源,并实现真正意义上的并发。当然,进程的开销比线程要大,也就是说如果你要创建数量惊人的并发进程的话,需要考虑一下你的机器是不是有一颗强大的心。 Python的mutliprocess模块和threading具有类似的接口。
from multiprocessing import Processdef worker(): """thread worker function""" print 'Worker'p = Process(target=worker)p.start()p.join()
由于线程共享相同的地址空间和内存,所以线程之间的通信是非常容易的,然而进程之间的通信就要复杂一些了。常见的进程间通信有:
管道,消息队列,Socket接口(TCP/IP)等等
Python的mutliprocess模块提供了封装好的管道和队列,可以方便的在进程间传递消息。 Python进程间的同步使用锁,这一点和线程是一样的。 另外,Python还提供了进程池Pool对象,可以方便的管理和控制线程。
3,远程分布式主机 (Distributed Node)
随着大数据时代的到临,数据的计算和处理需要分布式的计算机网络来运行,程序并行的运行在多个主机节点上,已经是现在的软件架构所必需考虑的问题。
远程主机间的进程间通信有几种常见的方式
TCP/IP
TCP/IP是所有远程通信的基础,然而API比较低级别,使用起来比较繁琐,所以一般不会考虑 ;远程方法调用 Remote Function Call
RPC是早期的远程进程间通信的手段。Python下有一个开源的实现RPyC ;- 远程对象 Remote Object
远程对象是更高级别的封装,程序可以想操作本地对象一样去操作一个远程对象在本地的代理。
- Python 并发
- python 并发
- python并发
- Python模拟线程并发
- Python并发主题详解
- python 并发编程
- Python 并发 multiprocessing-Process
- Python并发编程
- python 并发执行
- python并发测试脚本
- python 并发编程入门
- Python-threading并发操作
- python并发框架库
- Python中的并发编程
- python 并发任务
- Python并发编程
- Python中的并发编程
- Python并发执行
- 日常 2017_01_15
- 统计自然语言处理学习 (序及第一章)
- 窗口设置背景图片失败
- equals和hashCode
- 2301: [HAOI2011]Problem b
- python并发
- 函数指针基础
- <<UNIX环境高级编程>>之第四章理解
- 位运算
- SPOJ 694/705 后缀数组
- 安卓按键精灵手机助手(功能:安卓版抓抓、命令库、制作电脑UI界面)
- HDU3183- 贪心
- STL关联容器
- Kubernetes Scheduler源码分析