memcached内存管理

1. memcached内存分配

memcached使用Slab Allocator的机制分配、管理内存。

memcached启动时，通过-m参数来指定占用总内存的大小。

总内存会被切分成一个个pages，默认一个page为1M。

将page指定为slab classes, 然后将slab class切成大小相等的chunks。

具体如下图

slab class, chunks可以直接在memcached上查看， 通过 -vv参数

$ ./memcached -vvslab class   1: chunk size        96 perslab   10922slab class   2: chunk size       120 perslab    8738slab class   3: chunk size       152 perslab    6898slab class   4: chunk size       192 perslab    5461slab class   5: chunk size       240 perslab    4369slab class   6: chunk size       304 perslab    3449

在slab class 1，每个chunk大小为96bytes， 总共10922个chunks, 总大小为1M。

2. 数据写入存储原理

数据写入memcached时，会挑选大小最适合自己的chunk。

如果写入数据的 key+ value 小于96 bytes， 则写入slab class 1， 

如果大于96字节，小于120字节，则写入 slab class 2。

3. slab方式的缺点

如果写入数据大小为100bytes， 则会写入slab class 2，但是该chunk大小为120。

则会浪费20bytes的空间。

要解决该问题，可以通过启动memcached时-f参数，来调整每个chunk的递进， 默认为1.25。

如果项目中发现内存浪费比较严重，可以根据实际存储来修改这个 growth factor。

4. 数据过期

memcached使用lazy expiration方式，内存不会主动回收，内部不会监控一个记录是否过期，而是在get时候检查是否过期。

因此cpu不需要在监控是否过期上耗费时间。

set一个记录时会把他给LRU队列记录一个。直到它到对尾或者被重用。

5. LRU回收

使用LRU（Least Recently Used）算法回收内存，将最近最少使用的记录删除。
如果写入时没有空chunks，在适当的slab class中没有空pages，即memcached内存空间不足时，memcached会寻找LRU队列搜索，将空间回收分配给新纪录。

LRU默认是开启的，可以通过启动参数-M 来关闭LRU。

如果关闭，内存空间不足时会返回错误。

From: http://blog.csdn.net/yonggang7/article/details/23526855