条件变量 condition 在 python 多线程编程中的应用

http://www.cszhi.com/20130528/python-threading.html

 

 

在用python的threading.Thread编写多线程程序时，最简单的就是是用锁，为使线程之间保持同步，可以使用threading.Condition() 条件变量

思路：

1.分析哪一块空间需要多线程读写，抽象出一个共享空间类，对共享空间设置读方法(get)和写方法(set)

2.为使读线程和写线程同步，可以用threading.Condition()产生一个条件，同一个条件有wait()和notify()
notifyAll()方法，wait使线程自己进入block(阻塞)状态，一个线程的notify可以使同一个条件变量中block
的线程得到运行的机会。notifyAll通知所有被阻塞的线程进入runnable状态。

3.所有对共享空间操作的方法(read or write)都封闭在acquire()和release()中间

互斥锁是最简单的线程同步机制，Python提供的Condition对象提供了对复杂线程同步问题的支持。Condition被称为条件变量，除了提供与Lock类似的acquire和release方法外，还提供了wait和notify方法。

线程首先acquire一个条件变量，然后判断一些条件。如果条件不满足则wait；如果条件满足，进行一些处理改变条件后，通过notify方法通知其他线程，其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程，从而解决复杂的同步问题。

可以认为Condition对象维护了一个锁（Lock/RLock)和一个waiting池。线程通过acquire获得Condition对象，当调用wait方法时，线程会释放Condition内部的锁并进入blocked状态，同时在waiting池中记录这个线程。当调用notify方法时，Condition对象会从waiting池中挑选一个线程，通知其调用acquire方法尝试取到锁，但是notify and notifyall本身是不会释放占有的Condition内部的锁，所以随后需要condition.release()来显示的释放锁。

Condition对象的构造函数可以接受一个Lock/RLock对象作为参数，如果没有指定，则Condition对象会在内部自行创建一个RLock。

除了notify方法外，Condition对象还提供了notifyAll方法，可以通知waiting池中的所有线程尝试acquire内部锁。由于上述机制，处于waiting状态的线程只能通过notify方法唤醒，所以notifyAll的作用在于防止有线程永远处于沉默状态。

 

以把Condiftion理解为一把高级的琐，它提供了比Lock, RLock更高级的功能，允许我们能够控制复杂的线程同步问题。threadiong.Condition在内部维护一个琐对象（默认是RLock），可以在创建Condigtion对象的时候把琐对象作为参数传入。Condition也提供了acquire, release方法，其含义与琐的acquire, release方法一致，其实它只是简单的调用内部琐对象的对应的方法而已。Condition还提供了如下方法(特别要注意：这些方法只有在占用琐(acquire)之后才能调用，否则将会报RuntimeError异常。)：
Condition.wait([timeout]):  
　　wait方法释放内部所占用的琐，同时线程被挂起，直至接收到通知被唤醒或超时（如果提供了timeout参数的话）。当线程被唤醒并重新占有琐的时候，程序才会继续执行下去。
Condition.notify():
　　唤醒一个挂起的线程（如果存在挂起的线程）。注意：notify()方法不会释放所占用的琐。
Condition.notify_all()
Condition.notifyAll()
　　唤醒所有挂起的线程（如果存在挂起的线程）。注意：这些方法不会释放所占用的琐。

 

使用Condition实现复杂同步

目前我们已经会使用Lock去对公共资源进行互斥访问了，也探讨了同一线程可以使用RLock去重入锁，但是尽管如此我们只不过才处理了一些程序中简单的同步现象，我们甚至还不能很合理的去解决使用Lock锁带来的死锁问题。所以我们得学会使用更深层的解决同步问题。

Python提供的Condition对象提供了对复杂线程同步问题的支持。Condition被称为条件变量，除了提供与Lock类似的acquire和release方法外，还提供了wait和notify方法。

使用Condition的主要方式为：线程首先acquire一个条件变量，然后判断一些条件。如果条件不满足则wait；如果条件满足，进行一些处理改变条件后，通过notify方法通知其他线程，其他处于wait状态的线程接到通知后会重新判断条件。不断的重复这一过程，从而解决复杂的同步问题。

下面我们通过很著名的“生产者-消费者”模型来来演示下，在Python中使用Condition实现复杂同步。

1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950

import threadingimport time condition = threading.Condition()products = 0 class Producer(threading.Thread):    def __init__(self):        threading.Thread.__init__(self)     def run(self):        global condition, products        while True:            if condition.acquire():                if products < 10:                    products += 1;                    print "Producer(%s):deliver one, now products:%s" %(self.name, products)                    condition.notify()                else:                    print "Producer(%s):already 10, stop deliver, now products:%s" %(self.name, products)                    condition.wait();                condition.release()                time.sleep(2) class Consumer(threading.Thread):    def __init__(self):        threading.Thread.__init__(self)     def run(self):        global condition, products        while True:            if condition.acquire():                if products > 1:                    products -= 1                    print "Consumer(%s):consume one, now products:%s" %(self.name, products)                    condition.notify()                else:                    print "Consumer(%s):only 1, stop consume, products:%s" %(self.name, products)                    condition.wait();                condition.release()                time.sleep(2) if __name__ == "__main__":    for p in range(0, 2):        p = Producer()        p.start()     for c in range(0, 10):        c = Consumer()        c.start()

代码中主要实现了生产者和消费者线程，双方将会围绕products来产生同步问题，首先是2个生成者生产products ，而接下来的10个消费者将会消耗products，代码运行如下：

Producer(Thread-1):deliver one, now products:1Producer(Thread-2):deliver one, now products:2Consumer(Thread-3):consume one, now products:1Consumer(Thread-4):only 1, stop consume, products:1Consumer(Thread-5):only 1, stop consume, products:1Consumer(Thread-6):only 1, stop consume, products:1Consumer(Thread-7):only 1, stop consume, products:1Consumer(Thread-8):only 1, stop consume, products:1Consumer(Thread-10):only 1, stop consume, products:1Consumer(Thread-9):only 1, stop consume, products:1Consumer(Thread-12):only 1, stop consume, products:1Consumer(Thread-11):only 1, stop consume, products:1

另外：Condition对象的构造函数可以接受一个Lock/RLock对象作为参数，如果没有指定，则Condition对象会在内部自行创建一个RLock；除了notify方法外，Condition对象还提供了notifyAll方法，可以通知waiting池中的所有线程尝试acquire内部锁。由于上述机制，处于waiting状态的线程只能通过notify方法唤醒，所以notifyAll的作用在于防止有线程永远处于沉默状态。