redis系列-内存分配

来源:互联网 发布:小号软件 编辑:程序博客网 时间:2024/05/22 13:55

函数申明

redis的内存分配代码在zmalloc.c文件中。封装并对外提供了如下的内存分配和释放函数:

void *zmalloc(size_t size);void *zcalloc(size_t size);void *zrealloc(void *ptr, size_t size);void zfree(void *ptr);...


底层分配器

在linux下用C语言开发时,常用的内存分配是直接使用glib库的malloc,但是默认的glib库是直接管理大一块内存,内存分配和回收效率并不高,而且随着小对象反复分配和释放,必然产生大量内存碎片,总之,直接使用glib库不是高性能服务器的最佳选择。这些问题早已有之,因此linux下还有很多其他内存分配组件可以选择,例如tcmallocjemalloc,不了解的同学可以百度一下。
redis也已经考虑到了这种情况,因此通过宏开关USE_TCMALLOCUSE_JEMALLOC来切换内存分配器的选择 ,如果定义了USE_TCMALLOC,则内存分配和回收的基础方法切换为tcmalloc库的相关函数,而如果定义了USE_JEMALLOC宏,则内存分配和回收的基础方法切换为jemalloc库的相关函数:

#if defined(USE_TCMALLOC)#define malloc(size) tc_malloc(size)#define calloc(count,size) tc_calloc(count,size)#define realloc(ptr,size) tc_realloc(ptr,size)#define free(ptr) tc_free(ptr)#elif defined(USE_JEMALLOC)#define malloc(size) je_malloc(size)#define calloc(count,size) je_calloc(count,size)#define realloc(ptr,size) je_realloc(ptr,size)#define free(ptr) je_free(ptr)#endif


内存统计

zmalloc分配内存时,会累加内存使用量(全局变量used_memory),作为全局变量,更新时必须考虑互斥访问了,redis通过宏__ATOMIC_RELAXEDHAVE_ATOMIC进行控制互斥访问的方式,如果定义了__ATOMIC_RELAXED,则使用__atomic_add_fetch/__atomic_sub_fetch来更新used_memory,否则如果定义了HAVE_ATOMIC,则使用__sync_add_and_fetch/__sync_sub_and_fetch来更新used_memory,如果两个宏都没有定义,则直接使用互斥锁:pthread_mutex_t:

#if defined(__ATOMIC_RELAXED)#define update_zmalloc_stat_add(__n) __atomic_add_fetch(&used_memory, (__n), __ATOMIC_RELAXED)#define update_zmalloc_stat_sub(__n) __atomic_sub_fetch(&used_memory, (__n), __ATOMIC_RELAXED)#elif defined(HAVE_ATOMIC)#define update_zmalloc_stat_add(__n) __sync_add_and_fetch(&used_memory, (__n))#define update_zmalloc_stat_sub(__n) __sync_sub_and_fetch(&used_memory, (__n))#else#define update_zmalloc_stat_add(__n) do { \    pthread_mutex_lock(&used_memory_mutex); \    used_memory += (__n); \    pthread_mutex_unlock(&used_memory_mutex); \} while(0)#define update_zmalloc_stat_sub(__n) do { \    pthread_mutex_lock(&used_memory_mutex); \    used_memory -= (__n); \    pthread_mutex_unlock(&used_memory_mutex); \} while(0)#endif

分配及回收

如果使用jemalloc或者tcmalloc作为内存分配器,则redis分配内存时不需要在多分配前缀(用于统计记录内存大小),否则(也即使用glib内存分配器),根据平台来确定内存前缀大小:

  1. 如果是sun/sparc平台,则前缀大小为sizeof(long long)
  2. 其他平台,例如x86,前缀大小为sizeof(size_t)

zmalloc分配内存时,根据用户请求分配的内存大小加上内存前缀大小来分配内存的,如果分配失败,则将错误信息输出到标准错误流中,并使用abort退出当前进程。如果分配成功,则在内存前缀中保存内存大小(只保存用户请求的内存大小,不包括前缀,但统计内存使用量的全局变量used_memory需要统计包括前缀部分的内存大小),然后指针偏移前缀大小返回给用户。

zfree释放内存时,如果使用了jemalloc或者tcmalloc作为内存分配器,则需要读取内存分配器获得指针指向内存的实际大小(这2个分配器可能会多分配内存),更新内存使用信息,然后直接释放该指针即可;如果是glib内存分配器,则需要获取内存前缀得到内存大小,然后更新内存使用信息,并直接释放内存




原创粉丝点击