python进程间通信

python实现进程间的通信有Queue,Pipe,Value+Array等,其中Queue实现多个进程间的通信,而Pipe实现两个进程间通信,而Value+Array使用得是共享内存映射文件的方式,所以速度比较快

1.Queue的使用

• Queue是多进程安全的队列,可以使用Queue实现多进程之间的数据传递,提供了Put和Get两个方法
  
  • put方法将数据插入到队列中,有两个可循参数:blocked和timeout.如果blocked为True且timeout为正值,该方法会阻塞timeout长的时间,直到队列有剩余空间.如果超时,会抛出Queue.Full异常,如果block为Fasle且该队列已满,会直接抛出Queue.Full异常
  • Get方法从队列中读取并且删除一个数据,它同样有blocked和timeout两个参数,blocked为true,等待timeout长的时间,直到取到数据,如果未取到,抛出Queue.Empty异常,如果blocked为False,直接抛出Queue.Empty异常

from multiprocessing import Queue,Processimport os,time,random#添加数据函数def proc_write(queue,urls):    print("进程(%s)正在写入..."%(os.getpid()))    for url in urls:        queue.put(url)        print("%s被写入到队列中"%(url))        time.sleep(random.random()*3)#读取数据函数def proc_read(queue):    print("进程(%s)正在读取..."%(os.getpid()))    while True:        url = queue.get();        print("从队列中提取到:%s"%(url))if __name__ =="__main__":    queue = Queue()    proc_writer1 = Process(target=proc_write,args=(queue,["ur1","ur2","ur3","ur4"]))    proc_writer2 = Process(target=proc_write,args=(queue,["ur5","ur6","ur7","ur8"]))    proc_reader = Process(target=proc_read,args=(queue,))    proc_writer1.start()    proc_writer2.start()    proc_reader.start()    proc_writer1.join()    proc_writer2.join()    proc_reader.terminate()

• 运行结果如下
  进程(21203)正在读取…
  进程(21201)正在写入…
  进程(21202)正在写入…
  ur1被写入到队列中
  从队列中提取到:ur1
  ur5被写入到队列中
  从队列中提取到:ur5
  ur2被写入到队列中
  从队列中提取到:ur2
  ur6被写入到队列中
  从队列中提取到:ur6
  ur7被写入到队列中
  从队列中提取到:ur7
  ur3被写入到队列中
  从队列中提取到:ur3
  ur4被写入到队列中
  从队列中提取到:ur4
  ur8被写入到队列中
  从队列中提取到:ur8

2.Pipe的使用

• pipe用于两个进程间的通信,两个进程分别位于管道的两端,Pipe方法返回(conn1,conn2)代表一个管道的两端,Pipe方法有dumplex参数,若该参数为True,管道为全双工模式,若为Fasle,conn1只负责接收消息,conn2只负责发送消息.send和recv方法分别是发送和接收消息的方法,例如,在全双工模式下,可以调用conn1.send发送消息,conn1.recv接收消息,如果没有消息可以接收,recv方法会一直阻塞,如果管道已经被关闭,recv方法会抛出EOFError

  1 from multiprocessing import Pipe,Process  2 import random,time,os  3  4 def proc_send(pipe,urls):  5   for url in urls:  6     print("进程(%s)发送:%s"%(os.getpid(),url))  7     pipe.send(url)  8     time.sleep(random.random())  9 10 def proc_recv(pipe): 11   while True: 12     print("进程(%s)接收到:%s"%(os.getpid(),pipe.recv())) 13     time.sleep(random.random()) 14 15 if __name__ == "__main__": 16   pipe = Pipe() 17   p1 = Process(target=proc_send,args=(pipe[0],["url_"+str(i) for i in range(10)],)) 18   p2 = Process(target=proc_recv,args=(pipe[1],)) 19   p1.start() 20   p2.start() 21   pi.join() 22   p2.terminate()

• 运行结果如下
  进程(21220)发送:url_0
  进程(21221)接收到:url_0
  进程(21220)发送:url_1
  进程(21221)接收到:url_1
  进程(21220)发送:url_2
  进程(21220)发送:url_3
  进程(21220)发送:url_4
  进程(21221)接收到:url_2
  进程(21220)发送:url_5
  进程(21221)接收到:url_3
  进程(21220)发送:url_6
  进程(21221)接收到:url_4
  进程(21220)发送:url_7
  进程(21220)发送:url_8
  进程(21221)接收到:url_5
  进程(21221)接收到:url_6
  进程(21220)发送:url_9
  进程(21221)接收到:url_7
  进程(21221)接收到:url_8
  进程(21221)接收到:url_9