python线程池处理文件和Queue

1.  
   1. #_*_encoding:utf-8_*_  
   2. import threading  
   3. import Queue  
   4. from DisposeXml import *  
   5.   
   6. class ThreadPoolMgr():  
   7.     def __init__(self,work_queue,thread_num=2):  
   8.         self.threads=[]  
   9.         self.work_queue=work_queue  
   10.         self.init_threadpool(thread_num)  
   11.       
   12.     def init_threadpool(self,thread_num):  
   13.         for i in range(thread_num):  
   14.             self.threads.append(Mythread(self.work_queue));  
   15.       
   16.     def wait_allcomplete(self):  
   17.         for item in self.threads:  
   18.             if item.isAlive():  
   19.                 item.join()  
   20.       
   21.       
   22. class Mythread(threading.Thread):  
   23.     def __init__(self,work_queue):  
   24.         threading.Thread.__init__(self)  
   25.         self.work_queue=work_queue  
   26.         self.start()  
   27.       
   28.     def run(self):  
   29.         # 从任务队列中取任务，一直等到任务队列为空  
   30.         while not self.work_queue.empty():  
   31.             dir = self.work_queue.get()  
   32.             os.chdir(dir)  
   33.             self.disposeMetaXml=DisposeTableMetaXml(TableMetadataFileName)  
   34.             self.disposeMetaXml.Analysis_Metadata()  
   35.             if -1==self.disposeMetaXml.connect2Db():  
   36.                 QMessageBox.about(self,u"失败",u"数据库连接失败")  
   37.             self.disposeMetaXml.QueryMysql()  
   38.             self.disposeMetaXml.remove_tmp_file()  
   39.         print self.getName(),' work queue is empty'  
   40.               
   41.       
   42. if __name__=='__main__':  
   43.     p=ThreadPoolMgr()  
   44.     p.wait_allcomplete()  
   45.       
   46.       

python的Queue模块：  import Queue

默认构造的queue大小为0，当然也可以指定大小  myqueue = Queue.Queue(maxsize = 10)

入队  myqueue.put(T)  队列中可以放任何格式对象或者组合。 

调用队列对象的put()方法在队尾插入一个项目。put()有两个参数，第一个item为必需的，为插入项目的值；第二个block为可选参数，默认为1。如果队列当前为空且block为1，put()方法就使调用线程暂停,直到空出一个数据单元。如果block为0，put方法将引发Full异常。

出对 myqueue.get()

调用队列对象的get()方法从队头删除并返回一个项目。可选参数为block，默认为True。如果队列为空且block为True，get()就使调用线程暂停，直至有项目可用。如果队列为空且block为False，队列将引发Empty异常。

python queue模块有三种队列:
1、python queue模块的FIFO队列先进先出。
2、LIFO类似于堆。即先进后出。
3、还有一种是优先级队列级别越低越先出来。 


针对这三种队列分别有三个构造函数:
1、class Queue.Queue(maxsize) FIFO 
2、class Queue.LifoQueue(maxsize) LIFO 
3、class Queue.PriorityQueue(maxsize) 优先级队列 


介绍一下此包中的常用方法:


Queue.qsize() 返回队列的大小 
Queue.empty() 如果队列为空，返回True,反之False 
Queue.full() 如果队列满了，返回True,反之False
Queue.full 与 maxsize 大小对应 
Queue.get([block[, timeout]]) 获取队列，timeout等待时间 
Queue.get_nowait() 相当Queue.get(False)
非阻塞 Queue.put(item) 写入队列，timeout等待时间 
Queue.put_nowait(item) 相当Queue.put(item, False)
Queue.task_done() 在完成一项工作之后，Queue.task_done() 函数向任务已经完成的队列发送一个信号

Queue.join() 实际上意味着等到队列为空，再执行别的操作