python的线程处理模块——thread,threading

来源:互联网 发布:艾媒咨询数据 编辑:程序博客网 时间:2024/06/01 07:13
  Python 标准库提供了 thread 和 threading 两个模块来对多线程进行支持。其中, thread 模块以低级、原始的方式来处理和控制线程,而 threading 模块通过对 thread 进行二次封装,提供了更方便的 api 来处理线程。 虽然使用 thread 没有 threading 来的方便,但它更灵活。今天先介绍 thread 模块的基本使用,下一篇 将介绍 threading 模块。

Thread

  在介绍 thread 之前,先看一段代码,猜猜程序运行完成之后,在控制台上输出的结果是什么?

[python] view plaincopy
  1. [python] view plaincopy  
  2. #coding=gbk    
  3. import thread, time, random    
  4. count = 0    
  5. def threadTest():    
  6.     global count    
  7.     for i in xrange(10000):    
  8.         count += 1    
  9. for i in range(10):    
  10.     thread.start_new_thread(threadTest, ()) #如果对start_new_thread函数不是很了解,不要着急,马上就会讲解    
  11. time.sleep(3)    
  12. print count #count是多少呢?是10000 * 10 吗?    

thread.start_new_thread ( function , args [ , kwargs ] )
  函数将创建一个新的线程,并返回该线程的标识符(标识符为整数)。参数 function 表示线程创建之后,立即执行的函数,参数 args 是该函数的参数,它是一个元组类型;第二个参数 kwargs 是可选的,它为函数提供了命名参数字典。函数执行完毕之后,线程将自动退出。如果函数在执行过程中遇到未处理的异常,该线程将退出,但不会影响其他线程的执行。 下面是一个简单的例子:

[python] view plaincopy
  1. [python] view plaincopy  
  2. #coding=gbk    
  3. import thread, time    
  4. def threadFunc(a = None, b = None, c = None, d = None):    
  5.     print time.strftime('%H:%M:%S', time.localtime()), a    
  6.     time.sleep(1)        
  7.     print time.strftime('%H:%M:%S', time.localtime()), b    
  8.     time.sleep(1)    
  9.     print time.strftime('%H:%M:%S', time.localtime()), c    
  10.     time.sleep(1)    
  11.     print time.strftime('%H:%M:%S', time.localtime()), d    
  12.     time.sleep(1)    
  13.     print time.strftime('%H:%M:%S', time.localtime()), 'over'    
  14.         
  15. thread.start_new_thread(threadFunc, (3456))   #创建线程,并执行threadFunc函数。    
  16. time.sleep(5)    


thread.exit ()
  结束当前线程。调用该函数会触发 SystemExit 异常,如果没有处理该异常,线程将结束。   


thread.get_ident ()
  返回当前线程的标识符,标识符是一个非零整数。


thread.interrupt_main ()
  在主线程中触发 KeyboardInterrupt 异常。子线程可以使用该方法来中断主线程。下面的例子演示了在子线程中调用 interrupt_main ,在主线程中捕获异常 :

[python] view plaincopy
  1. [python] view plaincopy  
  2. import thread, time    
  3. thread.start_new_thread(lambda : (thread.interrupt_main(), ), ())    
  4. try:    
  5.     time.sleep(2)    
  6. except KeyboardInterrupt, e:    
  7.     print 'error:', e    
  8. print 'over'    

  下面介绍 thread 模块中的琐,琐可以保证在任何时刻,最多只有一个线程可以访问共享资源。


thread.LockType 是 thread 模块中定义的琐类型。它有如下方法:


lock.acquire ( [ waitflag ] )
  获取琐。函数返回一个布尔值,如果获取成功,返回 True ,否则返回 False 。参数 waitflag 的默认值是一个非零整数,表示如果琐已经被其他线程占用,那么当前线程将一直等待,只到其他线程释放,然后获取访琐。如果将参数 waitflag 置为 0 ,那么当前线程会尝试获取琐,不管琐是否被其他线程占用,当前线程都不会等待。


lock.release ()
  释放所占用的琐。


lock.locked ()
  判断琐是否被占用。


  现在我们回过头来看文章开始处给出的那段代码:代码中定义了一个函数 threadTest ,它将全局变量逐一的增加 10000 ,然后在主线程中开启了 10 个子线程来调用 threadTest 函数。但结果并不是预料中的 10000 * 10 ,原因主要是对 count 的并发操作引来的。全局变量 count 是共享资源,对它的操作应该串行的进行。下面对那段代码进行修改,在对 count 操作的时候,进行加琐处理。看看程序运行的结果是否和预期一致。修改后的代码:


[python] view plaincopy
  1. [python] view plaincopy  
  2. #coding=gbk    
  3. import thread, time, random    
  4. count = 0    
  5. lock = thread.allocate_lock() #创建一个琐对象    
  6. def threadTest():    
  7.     global count, lock    
  8.     lock.acquire() #获取琐    
  9.         
  10.     for i in xrange(10000):    
  11.         count += 1    
  12.         
  13.     lock.release() #释放琐    
  14. for i in xrange(10):    
  15.     thread.start_new_thread(threadTest, ())    
  16. time.sleep(3)    
  17. print count    

  thread模块是不是并没有想像中的那么难!简单就是美,这就是Python。更多关于thread模块的内容,请参考Python手册 thread  模块  


Threading

threading通过对thread模块进行二次封装,提供了更方便的API来操作线程。

threading.Thread
  Thread 是threading模块中最重要的类之一,可以使用它来创建线程。有两种方式来创建线程:一种是通过继承Thread类,重写它的run方法;另一种是创建一个threading.Thread对象,在它的初始化函数(__init__)中将可调用对象作为参数传入。下面分别举例说明。先来看看通过继承threading.Thread类来创建线程的例子:

[python] view plaincopy
  1. [python] view plaincopy  
  2. #coding=gbk    
  3. import threading, time, random    
  4. count = 0    
  5. class Counter(threading.Thread):    
  6.     def __init__(self, lock, threadName):    
  7.         '''''''@summary: 初始化对象。  
  8.           
  9.         @param lock: 琐对象。  
  10.         @param threadName: 线程名称。  
  11.         '''    
  12.         super(Counter, self).__init__(name = threadName)  #注意:一定要显式的调用父类的初始    
  13. 化函数。    
  14.         self.lock = lock    
  15.         
  16.     def run(self):    
  17.         '''''''@summary: 重写父类run方法,在线程启动后执行该方法内的代码。  
  18.         '''    
  19.         global count    
  20.         self.lock.acquire()    
  21.         for i in xrange(10000):    
  22.             count = count + 1    
  23.         self.lock.release()    
  24. lock = threading.Lock()    
  25. for i in range(5):     
  26.     Counter(lock, "thread-" + str(i)).start()    
  27. time.sleep(2)   #确保线程都执行完毕    
  28. print count    

  在代码中,我们创建了一个Counter类,它继承了threading.Thread。初始化函数接收两个参数,一个是琐对象,另一个是线程的名称。在Counter中,重写了从父类继承的run方法,run方法将一个全局变量逐一的增加10000。在接下来的代码中,创建了五个Counter对象,分别调用其start方法。最后打印结果。这里要说明一下run方法 和start方法: 它们都是从Thread继承而来的,run()方法将在线程开启后执行,可以把相关的逻辑写到run方法中(通常把run方法称为活动[Activity]。);start()方法用于启动线程。


  再看看另外一种创建线程的方法:

[python] view plaincopy
  1. [python] view plaincopy  
  2. import threading, time, random    
  3. count = 0    
  4. lock = threading.Lock()    
  5. def doAdd():    
  6.     '''''''@summary: 将全局变量count 逐一的增加10000。  
  7.     '''    
  8.     global count, lock    
  9.     lock.acquire()    
  10.     for i in xrange(10000):    
  11.         count = count + 1    
  12.     lock.release()    
  13. for i in range(5):    
  14.     threading.Thread(target = doAdd, args = (), name = 'thread-' + str(i)).start()    
  15. time.sleep(2)   #确保线程都执行完毕    
  16. print count    

  在这段代码中,我们定义了方法doAdd,它将全局变量count 逐一的增加10000。然后创建了5个Thread对象,把函数对象doAdd 作为参数传给它的初始化函数,再调用Thread对象的start方法,线程启动后将执行doAdd函数。这里有必要介绍一下threading.Thread类的初始化函数原型:
def __init__(self, group=None, target=None, name=None, args=(), kwargs={})
  参数group是预留的,用于将来扩展;
  参数target是一个可调用对象(也称为活动[activity]),在线程启动后执行;
  参数name是线程的名字。默认值为“Thread-N“,N是一个数字。
  参数args和kwargs分别表示调用target时的参数列表和关键字参数


Thread类还定义了以下常用方法与属性:


Thread.getName() 
Thread.setName()
Thread.name

  用于获取和设置线程的名称。

Thread.ident
  获取线程的标识符。线程标识符是一个非零整数,只有在调用了start()方法之后该属性才有效,否则它只返回None。

Thread.is_alive() 
Thread.isAlive()

  判断线程是否是激活的(alive)。从调用start()方法启动线程,到run()方法执行完毕或遇到未处理异常而中断 这段时间内,线程是激活的。

Thread.join([timeout])

  调用Thread.join将会使主调线程堵塞,直到被调用线程运行结束或超时。参数timeout是一个数值类型,表示超时时间,如果未提供该参数,那么主调线程将一直堵塞到被调线程结束。下面举个例子说明join()的使用:

[python] view plaincopy
  1. [python] view plaincopy  
  2. import threading, time    
  3. def doWaiting():    
  4.     print 'start waiting:', time.strftime('%H:%M:%S')    
  5.     time.sleep(3)    
  6.     print 'stop waiting', time.strftime('%H:%M:%S')    
  7. thread1 = threading.Thread(target = doWaiting)    
  8. thread1.start()    
  9. time.sleep(1)  #确保线程thread1已经启动    
  10. print 'start join'    
  11. thread1.join()  #将一直堵塞,直到thread1运行结束。    
  12. print 'end join'    


threading.RLock和threading.Lock
  在threading模块中,定义两种类型的琐:threading.Lock和threading.RLock。它们之间有一点细微的区别,通过比较下面两段代码来说明:

[python] view plaincopy
  1. [python] view plaincopy  
  2. import threading    
  3. lock = threading.Lock() #Lock对象    
  4. lock.acquire()    
  5. lock.acquire()  #产生了死琐。    
  6. lock.release()    
  7. lock.release()    
  8.   
  9.   
  10. [python] view plaincopy  
  11. import threading    
  12. rLock = threading.RLock()  #RLock对象    
  13. rLock.acquire()    
  14. rLock.acquire() #在同一线程内,程序不会堵塞。    
  15. rLock.release()    
  16. rLock.release()    

  这两种琐的主要区别是:RLock允许在同一线程中被多次acquire。而Lock却不允许这种情况。注意:如果使用RLock,那么acquire和release必须成对出现,即调用了n次acquire,必须调用n次的release才能真正释放所占用的琐。


threading.Condition
  可以把Condiftion理解为一把高级的琐,它提供了比Lock, RLock更高级的功能,允许我们能够控制复杂的线程同步问题。threadiong.Condition在内部维护一个琐对象(默认是RLock),可以在创建Condigtion对象的时候把琐对象作为参数传入。Condition也提供了acquire, release方法,其含义与琐的acquire, release方法一致,其实它只是简单的调用内部琐对象的对应的方法而已。Condition还提供了如下方法(特别要注意:这些方法只有在占用琐(acquire)之后才能调用,否则将会报RuntimeError异常。):


Condition.wait([timeout]):  
  wait方法释放内部所占用的琐,同时线程被挂起,直至接收到通知被唤醒或超时(如果提供了timeout参数的话)。当线程被唤醒并重新占有琐的时候,程序才会继续执行下去。


Condition.notify():
  唤醒一个挂起的线程(如果存在挂起的线程)。注意:notify()方法不会释放所占用的琐。


Condition.notify_all() 
Condition.notifyAll()

  唤醒所有挂起的线程(如果存在挂起的线程)。注意:这些方法不会释放所占用的琐。


  现在写个捉迷藏的游戏来具体介绍threading.Condition的基本使用。假设这个游戏由两个人来玩,一个藏(Hider),一个找(Seeker)。游戏的规则如下:1. 游戏开始之后,Seeker先把自己眼睛蒙上,蒙上眼睛后,就通知Hider;2. Hider接收通知后开始找地方将自己藏起来,藏好之后,再通知Seeker可以找了; 3. Seeker接收到通知之后,就开始找Hider。Hider和Seeker都是独立的个体,在程序中用两个独立的线程来表示,在游戏过程中,两者之间的行为有一定的时序关系,我们通过Condition来控制这种时序关系。


[python] view plaincopy
  1. [python] view plaincopy  
  2. #---- Condition    
  3. #---- 捉迷藏的游戏    
  4. import threading, time    
  5. class Hider(threading.Thread):    
  6.     def __init__(self, cond, name):    
  7.         super(Hider, self).__init__()    
  8.         self.cond = cond    
  9.         self.name = name    
  10.         
  11.     def run(self):    
  12.         time.sleep(1#确保先运行Seeker中的方法       
  13.             
  14.         self.cond.acquire() #b        
  15.         print self.name + ': 我已经把眼睛蒙上了'    
  16.         self.cond.notify()    
  17.         self.cond.wait() #c        
  18.                          #f     
  19.         print self.name + ': 我找到你了 ~_~'    
  20.         self.cond.notify()    
  21.         self.cond.release()    
  22.                             #g    
  23.         print self.name + ': 我赢了'   #h    
  24.             
  25. class Seeker(threading.Thread):    
  26.     def __init__(self, cond, name):    
  27.         super(Seeker, self).__init__()    
  28.         self.cond = cond    
  29.         self.name = name    
  30.     def run(self):    
  31.         self.cond.acquire()    
  32.         self.cond.wait()    #a    #释放对琐的占用,同时线程挂起在这里,直到被notify并重新占有琐。    
  33.                             #d    
  34.         print self.name + ': 我已经藏好了,你快来找我吧'    
  35.         self.cond.notify()    
  36.         self.cond.wait()    #e    
  37.                             #h    
  38.         self.cond.release()     
  39.         print self.name + ': 被你找到了,哎~~~'    
  40.             
  41. cond = threading.Condition()    
  42. seeker = Seeker(cond, 'seeker')    
  43. hider = Hider(cond, 'hider')    
  44. seeker.start()    
  45. hider.start()    


threading.Event
  Event实现与Condition类似的功能,不过比Condition简单一点。它通过维护内部的标识符来实现线程间的同步问题。(threading.Event和.NET中的System.Threading.ManualResetEvent类实现同样的功能。)


Event.wait([timeout])
  堵塞线程,直到Event对象内部标识位被设为True或超时(如果提供了参数timeout)。


Event.set()
  将标识位设为Ture


Event.clear()
  将标识伴设为False。


Event.isSet()
  判断标识位是否为Ture。


下面使用Event来实现捉迷藏的游戏(可能用Event来实现不是很形象)

[python] view plaincopy
  1. [python] view plaincopy  
  2. #---- Event    
  3. #---- 捉迷藏的游戏    
  4. import threading, time    
  5. class Hider(threading.Thread):    
  6.     def __init__(self, cond, name):    
  7.         super(Hider, self).__init__()    
  8.         self.cond = cond    
  9.         self.name = name    
  10.         
  11.     def run(self):    
  12.         time.sleep(1#确保先运行Seeker中的方法       
  13.             
  14.         print self.name + ': 我已经把眼睛蒙上了'    
  15.             
  16.         self.cond.set()    
  17.             
  18.         time.sleep(1)       
  19.             
  20.         self.cond.wait()    
  21.         print self.name + ': 我找到你了 ~_~'    
  22.             
  23.         self.cond.set()    
  24.                                 
  25.         print self.name + ': 我赢了'    
  26.             
  27. class Seeker(threading.Thread):    
  28.     def __init__(self, cond, name):    
  29.         super(Seeker, self).__init__()    
  30.         self.cond = cond    
  31.         self.name = name    
  32.     def run(self):    
  33.         self.cond.wait()    
  34.                             
  35.         print self.name + ': 我已经藏好了,你快来找我吧'    
  36.         self.cond.set()    
  37.             
  38.         time.sleep(1)    
  39.         self.cond.wait()    
  40.                                 
  41.         print self.name + ': 被你找到了,哎~~~'    
  42.             
  43. cond = threading.Event()    
  44. seeker = Seeker(cond, 'seeker')    
  45. hider = Hider(cond, 'hider')    
  46. seeker.start()    
  47. hider.start()    
  48.   
  49.   
  50. threading.Timer  
  51.   threading.Timer是threading.Thread的子类,可以在指定时间间隔后执行某个操作。下面是Python手册上提供的一个例子:  
  52.   
  53.   
  54. [python] view plaincopy  
  55. def hello():    
  56.     print "hello, world"    
  57. t = Timer(3, hello)    
  58. t.start() # 3秒钟之后执行hello函数。    


  threading模块中还有一些常用的方法没有介绍:


threading.active_count() 
threading.activeCount()

  获取当前活动的(alive)线程的个数。


threading.current_thread() 
threading.currentThread()

   获取当前的线程对象(Thread object)。


threading.enumerate()
   获取当前所有活动线程的列表。


threading.settrace(func)
  设置一个跟踪函数,用于在run()执行之前被调用。


threading.setprofile(func)
  设置一个跟踪函数,用于在run()执行完毕之后调用。

  threading模块的内容很多,一篇文章很难写全,更多关于threading模块的信息,请查询Python手册 threading 模块。
原创粉丝点击