Python多进程——进程池Pool

1.初始化Pool时，可以指定一个最大进程数，当有新的请求提交到Pool中时，如果池还没有满，那么就会创建一个新的进程用来执行该请求；但如果池中的进程数已经达到指定的最大值，那么该请求就会等待，直到池中有进程结束，才会创建新的进程来执行  

 2.multiprocessing.Pool常用函数解析：

• apply_async(func[, args[, kwds]]) ：使用非阻塞方式调用func（并行执行，堵塞方式必须等待上一个进程退出才能执行下一个进程），args为传递给func的参数列表，kwds为传递给func的关键字参数列表；异步，多个线程同时执行

• apply(func[, args[, kwds]])：使用阻塞方式调用func,执行完一个进程后再去执行其他线程。

• close()：关闭Pool，使其不再接受新的任务；

• terminate()：不管任务是否完成，立即终止；

• join()：主进程阻塞，等待子进程的退出， 必须在close或terminate之后使用；

• apply_async(func, args=(), kwds={}, callback=None, error_callback=None)：callback:回调函数，可接收func函数的返回值

3.注意点：

• 主进程不会等待子进程结束后，再结束。需要加join()
  

• join()必须放在close语句之后

例：apply_async()：异步

from multiprocessing import Poolimport os,time,randomdef worker(msg):    t_start = time.time()    print("%s开始执行,进程号为%d"%(msg,os.getpid()))    #random.random()随机生成0~1之间的浮点数    time.sleep(random.random()*2)     t_stop = time.time()    print(msg,"执行完毕，耗时%0.2f"%(t_stop-t_start))po=Pool(3) #定义一个进程池，最大进程数3for i in range(0,10):    #Pool.apply_async(要调用的目标,(传递给目标的参数元祖,))    #每次循环将会用空闲出来的子进程去调用目标    po.apply_async(worker,(i,))print("----start----")po.close() #关闭进程池，关闭后po不再接收新的请求po.join() #等待po中所有子进程执行完成，必须放在close语句之后print("-----end-----")

结果：

----start----0开始执行,进程号为214661开始执行,进程号为21468               #一次可执行3个进程，一个进程结束后，另一个进程接着使用该进程的资源。2开始执行,进程号为21467               #共3个pid：21466,21468,214670 执行完毕，耗时1.013开始执行,进程号为214662 执行完毕，耗时1.244开始执行,进程号为214673 执行完毕，耗时0.565开始执行,进程号为214661 执行完毕，耗时1.686开始执行,进程号为214684 执行完毕，耗时0.677开始执行,进程号为214675 执行完毕，耗时0.838开始执行,进程号为214666 执行完毕，耗时0.759开始执行,进程号为214687 执行完毕，耗时1.038 执行完毕，耗时1.059 执行完毕，耗时1.69-----end-----

例：apply（）堵塞式

from multiprocessing import Poolimport os,time,randomdef worker(msg):    t_start = time.time()    print("%s开始执行,进程号为%d"%(msg,os.getpid()))    #random.random()随机生成0~1之间的浮点数    time.sleep(random.random()*2)     t_stop = time.time()    print(msg,"执行完毕，耗时%0.2f"%(t_stop-t_start))po=Pool(3) #定义一个进程池，最大进程数3for i in range(0,10):    po.apply(worker,(i,))print("----start----")po.close() #关闭进程池，关闭后po不再接收新的请求po.join() #等待po中所有子进程执行完成，必须放在close语句之后print("-----end-----")

结果：

0开始执行,进程号为215320 执行完毕，耗时1.911开始执行,进程号为215341 执行完毕，耗时1.722开始执行,进程号为21533           #共3个进程号2 执行完毕，耗时0.50              #一个程序执行完之后，在执行另一个3开始执行,进程号为215323 执行完毕，耗时1.274开始执行,进程号为215344 执行完毕，耗时1.055开始执行,进程号为215335 执行完毕，耗时1.606开始执行,进程号为215326 执行完毕，耗时0.257开始执行,进程号为215347 执行完毕，耗时0.638开始执行,进程号为215338 执行完毕，耗时1.219开始执行,进程号为215329 执行完毕，耗时0.60----start---------end-----