Python WorkerThread设计实现

WorkerThread 设计

具体细节

threading.local

local的用法:

• 可以通过设置简单threading.local,并设置相应的LocalManager来管理local
• 还可以继承自local class, 这种方法可以很有效的实现local的默认值, 方法, 初始化. 注意如果定义了 __init__ 函数, 将会在每个特定的线程中进行 __init__函数的调用,这对于初始化每一个线程的字典来说非常的重要
• threading.local() :类表示线程本地变量. 线程本地变量对于特定的线程不同. 管理线程本地变量threading.local, 如 mydata = threading.local() mydata.x = 1

继承自threading.local的用法如下(具体见官方源码):

class MyLocal(local):    number = 2    initialized = False    def __init__(self, **kw):        if self.initialized:            raise SystemError('__init__ called two many times')        self.initialized = True        self.__dict__.update(kw)    def squared(self):        return self.number**2

subclasses 可以定义 __slots__, 但是并不是线程本地变量, 而是通过线程共享

LocalManager

LocalManager :该类用来管理本地线程变量,中的具体字段.

class LocalManager(object):    def __init__(self, local_obj):        self.local_obj = local_obj    def to_dict(self):        rv = {}        for field in self.fields:            rv[field] = getattr(self, field, None)        return rv    def update(self, **kwargs):        for field, value in kwargs.iteritems():            setattr(self, field, value)    def clear(self):        self.local_obj.__dict__.clear()    def __getattr__(self, name):        return getattr(self.local_obj, name, None)    def __setattr__(self, name, value):        if name in self.fields:            return setattr(self.local_obj, name, value)        else:            super(LocalManager, self).__setattr__(name, value)

创建本地线程变量
worker_local = LocalManager(_local) 仅仅这样用, 对于不同的线程, 其中的 worker_local不同

WorkerThread

WorkerThread :该类继承自 threading.Thread, 为具体线程的类

• threading.Thread 特定用法:
  
  • 在构造函数中传入一个callable对象,(函数或者其他)
  • 在子类中重写 __init__ 和 run 方法
• get_result(self) 方法类似与 requests.raise_for_status(): 先存异常状态码,再抛出异常

class WorkerThread(threading.Thread):    def __init__(self, func, *args, **kwargs):        super(WorkerThread, self).__init__()        self.func = func        self.args = args        self.kwargs = kwargs        self.exception = None        self.result = None        self.request_params = worker_local.to_dict()    def run(self):        worker_local.update(**self.request_params)        try:            self.result = self.func(*self.args, **self.kwargs)        except Exception as e:            self.exception = e            log_exception('worker', e)    def get_result(self):        if self.exception is not None:            raise self.exception        else:            return self.result

注意

• 在python中对于真正的并行, 应当使用multiprocessing模块, fork多个进行来并行的执行, 因为python 全局解释器锁的存在, python的线程提供interleving交叉, 但是实际上是连续串行执行,这仅仅对于有I/O操作时有效.
• Thread-local 保存了线程拥有的局部变量,实现了线程变量的隔离, 比较好的实现,可以参考werkzeug中Thread-local的实现, 可以支持协程之间的私有数据 werkzeug

Reference

深入理解Thread-local