Python-多进程

进程是程序在计算机上的一次执行活动。当你运行一个程序，你就启动了一个进程。显然，程序是死的(静态的)，进程是活的(动态的)。进程可以分为系统进程和用户进程。凡是用于完成操作系统的各种功能的进程就是系统进程，它们就是处于运行状态下的操作系统本身；所有由你启动的进程都是用户进程。进程是操作系统进行资源分配的单位。

开启一个进程

import multiprocessing,time,osdef runtask():    time.sleep(2)    print("开启一个进程:%s"%os.getpid())if __name__ == "__main__":    p = multiprocessing.Process(target=runtask,)    p.start()

进程队列

import multiprocessingdef runtask():    q.put([42,"python"])if __name__ == "__main__":    q = multiprocessing.Queue()    p = multiprocessing.Process(target=runtask,)    p.start()    print(q.get())      # 打印结果:[42,"python"]

pipe管道

返回两个连接对象。代表管道的两端，默认双向通信。

import multiprocessingdef runtask():    conn.send("abc")    conn.close()if __name__ == "__main__":    conn,pconn = multiprocessing.Pipe()    p = multiprocessing.Process()    p.start()    print(pconn.recv())     # 打印结果:"abc"

Value、Array

共享内存有两个结构，一个是Value，一个是Array，这两个结构内部都实现了锁机制，因此进程是安全的。

import multiprocessdef runtask():    d.value = 50    for index in range(len(a)):        a[index]+=10if __name__ == "__main__":    # 下面的字符"d"、"i"似乎是固定的，换成其他将会报错。求大神解释    d = Value("d",20)           a = Array("i",range(10))    p = multiprocessing.Process(target=runtask,)    p.start()    p.join()    # 等待进程执行完毕    print(d.value,a[:])     # 打印结果: 50.0 [10, 11, 12, 13, 14, 15, 16, 17, 18, 19]

Manager

Python实现多进程之间通信除了Queue(队列)、Pipe(管道)和Value-Array之外，还提供了更高层次的封装。Manager支持的类型非常多，如：list, dict, Namespace, Lock, RLock, Semaphore, BoundedSemaphore, Condition, Event, Queue, Value 和 Array 用法如下：

import multiprocessingdef runtask():    d["name"] = "laowang"    l.reverse()if __name__ == "__main__":    with multiprocessing.Manager() as manager:        d = manager.dict()        l = manager.list(range(10))        p = multiprocessing.Process(target=runtask,)        p.start()        p.join()        # 等待进程执行完毕        print(d,l)      # 打印结果:{'name': 'laowang'} [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

进程池Pool

Pool 是进程池，进程池能够管理一定的进程，当有空闲进程时，则利用空闲进程完成任务，直到所有任务完成为止

import multiprocessingdef runtask():    passdef callBackTask(arg):          # 回调函数必须要有一个形参，否则将报错    print("执行回调函数",arg)if __name__ == "__main__":    pool = multiprocessing.Pool(5)      # 设置进程池最大同时执行进程数    for index in range(20):        pool.apply_async(func=runtask,callback=callBackTask)    # 并行的,有回调方法        # pool.apply(func=runtask,)       # 串行的，无回调函数    pool.close()    # 关闭进程池    pool.join()     # #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束

执行结果:apply方法效果为一个进行接一个进程的执行，而apply_async是同时有5个进程在执行。