memcached-数据结构

来源：互联网发布：大数据分析系统翻译编辑：程序博客网时间：2024/04/30 15:43

memcached-数据结构 2010-05-04 11:17:46

分类： C/C++

1、item（_stritem）结构体（memcached.h 293行-310行）：

item是memcached中存储数据的最小单位，是key-value的抽象，还记录了最近访问时间、消亡时间等重要信息。下面根据源代码一一介绍：

typedef struct _stritem { struct _stritem *next; //下一个item struct _stritem *prev; //上一个item struct _stritem *h_next; //hash表的下一项 rel_time_t time; //最近访问时间 rel_time_t exptime; //消亡时间 int nbytes; //数据大小 unsigned short refcount; //引用计数 uint8_t nsuffix; // **的长度 uint8_t it_flags; /* ITEM_* above */ uint8_t slabs_clsid;// item所存入的slab uint8_t nkey; //key长度 void * end[]; /* if it_flags & ITEM_CAS we have 8 bytes CAS */ /* then null-terminated key */ /* then " flags length\r\n" (no terminating null) */ /* then data with terminating \r\n (no terminating null; it's binary!) */ } item;

在memcached中每个item 是存储在其对应大小的slabclass_t 里的,同时又在hash 表中有记录。既可以使用自己的内存分配机制来减少操作系统在处理内存碎片，添加释放等多余的操作，又可以使用hash 表的性质对其进行快速的定位。

2、slab(slabclass_t)结构体（slabs.c 26行-44行）：

slabclass_t保存了分级大小的空间槽,以分别适用于不同大小的item存放.取决于两个命令行参数,-f和-n.在应用slabclass_t时,定义的是一个数组,该数组长度取决于增长的指数级别和初始值大小(32+chunk_size),每个空间槽是不允许大于1M的,也就是1048576。slabclass是由(MAX_NUMBER_OF_SLAB_CLASSES)个slabclass_t结构体构成的数组，每个slabclass_t结构体的大小是根据增长因子递增的，增长因子可以由客户端来设定，1.28版本的默认值为2，合理的调优增长因子可以避免空间的浪费

typedef struct { unsigned int size; //items大小 unsigned int perslab; //每个slab有多少个item void **slots; //item链表 unsigned int sl_total; //已有item的数量 unsigned int sl_curr; //第一个空闲链表位置 void *end_page_ptr; //指向下一个空闲item槽的页面结尾地址的指针或者是0 unsigned int end_page_free; //在最后分配页面中，存在的items的数量。 unsigned int slabs; //在这个级别中分配了多少个slab void **slab_list; //slab数组的指针 unsigned int list_size; //slab数组大小 unsigned int killing; /* index+1 of dying slab, or zero if none */ size_t requested; //需要的字节数 } slabclass_t; static slabclass_t slabclass[MAX_NUMBER_OF_SLAB_CLASSES];

3、conn结构体（memcached.h 331行-418行）：

     conn结构是联系上下文的关键对象。对于每个连接的到来，都有一个conn结构与其对应，并且对应到某个连接状态，进入状态转换而完成操作。
   conn在程序开始也进行了一次预分配，分配200个连接空间。当200个使用完之后便是按需分配，到达一个分配一个。
   conn和item、iovec(内核级别缓冲结构)关联

typedef struct conn conn; struct conn { int sfd; sasl_conn_t *sasl_conn; enum conn_states state; enum bin_substates substate; struct event event; short ev_flags; short which; //刚刚被触发的事件 char *rbuf; //缓存读入的命令 char *rcurr; //语法分析的位置 int rsize; //缓存读入命令的大小 int rbytes; //从rcur开始还有多少信息没有进行语法分析 char *wbuf; char *wcurr; int wsize; int wbytes; enum conn_states write_and_go;//在写操作完成后加入什么状态 void *write_and_free; //在写操作完成后释放该内存 char *ritem; //指向读入item的value int rlbytes; //nread信息数据 /** * 在读取数据之前，item被用来保存一个item结构体，

*这个结构体在读入命令行（set/add/replace）后被创建, *数据被读入ITEM_data(item)防止多余拷贝 */ void *item; //保存set/add/replace命令 //总体情况 int sbytes; //总字节数 //nwrite信息数据 struct iovec *iov; int iovsize; //在iov[]数组中分配的元素个数 int iovused; /* number of elements used in iov[] */在iov[]数组中被使用元素的个数

struct msghdr *msglist; int msgsize; //在msglist[]数组中分配的元素个数 int msgused; //在msglist[]数组中被用的元素个数 int msgcurr; //正在传送的元素个数 int msgbytes; //当前msg中的字节数 item **ilist; //需要输出的item链表 int isize; item **icurr; int ileft; char **suffixlist; int suffixsize; char **suffixcurr; int suffixleft; enum protocol protocol; //此次连接的端口 enum network_transport transport; //此次连接的传输工具 //UDP客户端的数据 int request_id; //UDP连接需要一个ID struct sockaddr request_addr; //最近发出请求的地址 socklen_t request_addr_size; unsigned char *hdrbuf; //udp包的头 int hdrsize; //头部空间 bool noreply; //如果没发送应答，将被置为true //当前环境的命令 struct { char *buffer; size_t size; size_t offset; } stats; //二进制协议 //二进制协议的头 protocol_binary_request_header binary_header; uint64_t cas; //所要返回的cas short cmd; //当前所处理的命令 int opaque; int keylen; conn *next; /*/用来创建一个conn结构体链表 LIBEVENT_THREAD *thread; //指向服务的线程 };

0 0