深入分析Memcached的线程接入模型---上

memcached是一个分布式的内存cache系统，目前被大量地运用于各种各样的站点中，以不断提高站点的总体访问性能，而另外一方面，memcached的使用是非常简单的，可以说，使用门槛很低，这也许是造成memcached目前非常流行的原因之一。

 

我们可以看到，网上分析memcached的文章也比较多，本文是笔者结合memcached源代码的基础上对其线程接入模型进行深入的分析，通过学习和借鉴memcached设计和实现上 的一些思想，为我们的系统架构设计增添新的思路。

 

简单的说，memcached的实现并没有使用多进程模型，而是选择了多线程的模型，可以说，这种实现的方案确实是比较轻量级的。而多线程是基于libevent的事件机制以及基于管道pipe的信令周知机制来实现的。

 

主线程main_thread完成了系统的初始化和生成指定数量的worker_thread后，自身转化为一个dispatch_thread，负责系统的监听和转发，main_thread有自身的event_base 实例，该实例负责监听socket是否有连接到来，如果有，则获取一个新的连接socket并且封装成一个CQ_ITEM对象放入其中某个worker_thread的CQ队列中，以此同时，往该worker_thread的notify pipe写入一个字节以周知该worker_thread已经有新的CQ_ITME到，可以进行处理了。

 

每个worker_thread都有自己的一个CQ队列，该队列存放已经建立连接的各个连接对象，worker_thread正是不断地从各自的CQ队列里面取得各个连接对象进行处理的。同时，worker_thread也有各自的event_base实例用于出来各自的socket读写等操作以及有一对用于信令周知的读写pipe。

 

下面是简单的main_thread和worker_thread示意图：

 

 

 

  

下面结合源代码(memcached-1.4.4)进行分析，首页看一下关键的数据结构定义。

 

一，存放到每个worker_thread连接队列和连接item的定义

 

/*An item in the connection queue. 封装已经连接的socket file description*/typedef struct conn_queue_item CQ_ITEM; struct conn_queue_item { int sfd; //建立连接的socket file description enum conn_states init_state; //连接的状态枚举 int event_flags; //事件的flags int read_buffer_size; //读buffer大小 enum network_transport transport; //该连接对应的传输协议：TCP或者UDP CQ_ITEM *next; //指向下一个CQ_ITEM的指针};

 

该CQ_ITEM实例就是main_thread accept一个连接socket后的封装。

 

/* A connection queue. */typedef struct conn_queue CQ;struct conn_queue { CQ_ITEM *head; CQ_ITEM *tail; pthread_mutex_t lock; pthread_cond_t cond;};

 

CQ是每个worker_thread存放的已经建立的连接队列，每个worker_thread正是不断的通过读取自己的连接队列的CQ_ITEM进行处理的。

 

二，其实memcached对每个worker_thread也是进行封装成相应的结构体的

为了便于对worker_thread进行处理，memcache对worker_thread进行重新封装，结构体如下：

/** tenfyguo: Memcached 对每个线程的封装，每个thread都有自己独立的event_base obj和对应的conn_queue队列*/typedef struct { pthread_t thread_id; /* unique ID of this thread */ struct event_base *base; /* libevent handle this thread uses */ struct event notify_event; /* listen event for notify pipe */ int notify_receive_fd; /* receiving end of notify pipe */ int notify_send_fd; /* sending end of notify pipe */ struct thread_stats stats; /* Stats generated by this thread */ struct conn_queue *new_conn_queue; /* queue of new connections to handle */ cache_t *suffix_cache; /* suffix cache */ } LIBEVENT_THREAD;

 

      

 

下面是对main_thread作为一个dispatch_thread的封装：

 

typedef struct { pthread_t thread_id; /* unique ID of this thread */ struct event_base *base; /* libevent handle this thread uses */} LIBEVENT_DISPATCHER_THREAD;

 

 

介绍完主要的数据结构后（当然还有其他重要的数据结构，但跟我们本文要介绍的线程部分联系不是特别紧密，这里暂不扩展介绍了），下面重点介绍各个关键流程。