Python多进程应用的subprocess模块、multiprocessing模块

我很懒的

refer：

1. http://www.cnblogs.com/sunailong/p/5162748.html   （subprocess模块）

2. http://blog.csdn.net/u013713010/article/details/53325438  （multiprocessing模块）

3. https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/001431927781401bb47ccf187b24c3b955157bb12c5882d000

一、multiprocessing.Queue和multiprocessing.Manager

在使用多进程通信的时候，先尝试了multiprocessing.Queue发现队列能存放的数据量较少，有一个默认值具体多少暂不清楚。Queue.put(xxx)不会因为你的数据太大而报错，只会在该语句所在进程结束时，multiprocessing.Process.join()会一直阻塞。父进程无法继续执行。

换用multiprocessing.Manager类创建的列表或者字典：

mgr=multiprocessing.Manager()

buffConmunicate=mgr.list()  # mgr.dict()

这时，buffConmunicate里面存放大数据量没出错了（我放的np.array(shape=(102400,128,8)）ok了）

二、进程锁multiprocessing.Lock

多进程可能操作同一个文件时，加上进程锁：lock=multiprocessing.Lock()，在需要协调的地方，加上

lock.acquire()try:xxxxfinally:lock.release()

或者简单的：

with lock:xxx