python3多进程实现

python多进程的主要方式有两种,一种是使用os模块的fork方法,另一种方法是使用multiprocessing模块,这两种方法的就别在于前者仅适用于Unix/Linux操作系统,后者是跨平台的实现方式

1.使用fork方法实现

- fork方法来自Unix/Linux操作系统中提供的一个fork系统调用,这个方法非常特殊,普通方法都是调用一次,返回一次,而fork方法是调用一次,返回两次,原因在于操作系统将当前进程(父进程)复制出一份进程(子进程),这两个进程几乎完全相同,所以fork在两个进程中都返回,子进程中返回0,父进程中返回子进程的id,如以下代码

  import os   if __name__ == "__main__":       print("current Process (%s) start ..."%(os.getpid()))       pid = os.fork()       if pid < 0:           print("error in fork")       elif pid == 0:           print("I am a child process (%s) and my parent process os(%s)"%(os.getpi    d(),os.getppid()))       else:          print("I (%s) created a child process (%s)."%(os.getpid(),pid))

• 运行结果如下:
  current Process (21039) start …
  I (21039) created a child process (21040).
  [root@izhqmn61154vmrz pythonDemo]# I am a child process (21040) and my parent process os(1)
  可以看出fork创建了一个新进程,用pid区分父进程和子进程,分别在其中运行对应的任务

2.使用multiprocessing模块实现

 - multiprocessing提供了一个Process类来描述一个进程对象,创建子进程时,只需要传入一个执行函数和函数的参数,即可以完成一个Procees实例的创建,调用start方法启动,用join()方法让主线程等待线程执行完毕

  from multiprocessing import Process   import os   def run_process(name):     print("Child process %s (%s) Running"%(name,os.getpid()))   if __name__ == "__main__":     print("Parent process %s."%(os.getpid()))     for i in range(5):         p = Process(target=run_process,args=(str(i),))         print("Process will start.")         p.start()    p.join()    print("Process end")

• 运行结果如下
  Parent process 21073.
  Process will start.
  Process will start.
  Process will start.
  Process will start.
  Process will start.
  Child process 2 (21076) Running
  Child process 3 (21077) Running
  Child process 0 (21074) Running
  Child process 4 (21078) Running
  Process end
  Child process 1 (21075) Running

使用线程池

- multiprocessing模块提供了一个Pool类来代表进程池对象,它可以提供指定数量的进程供用户调用,默认大小是CPU的核数.当有新的请求提交到Pool时,如果池还没有满,就会提供一个新的进程来执行该请求;但如果池中的进程数已经达到最大值,请求就会等待,知道池中有进程结束,才会提供新的进程来处理

  import os,time,random   def run_task(name):     print("Task %s (pid = %s) is running..."%(name,os.getpid()))     time.sleep(random.random()*3)     print("Task %s end."%(name))   if __name__ =="__main__":     print("Current process %s."%os.getpid())     p = Pool(processes=3)     for i in range(5):       p.apply_async(run_task,args=(i,))     print("Waiting for all subprocesses done...")     p.close()     p.join()     print("All subprocesses done")

• 运行结果如下
  Current process 21127.
  Waiting for all subprocesses done…
  Task 0 (pid = 21129) is running…
  Task 1 (pid = 21130) is running…
  Task 2 (pid = 21128) is running…
  Task 1 end.
  Task 3 (pid = 21130) is running…
  Task 2 end.
  Task 4 (pid = 21128) is running…
  Task 4 end.
  Task 0 end.
  Task 3 end.
  All subprocesses done

可以看出,由于制定了进程池中进程的数量为3,当调用的线程多余3个时,会阻塞