redis系列-内存分配
来源:互联网 发布:小号软件 编辑:程序博客网 时间:2024/05/22 13:55
函数申明
redis的内存分配代码在zmalloc.c文件中。封装并对外提供了如下的内存分配和释放函数:
void *zmalloc(size_t size);void *zcalloc(size_t size);void *zrealloc(void *ptr, size_t size);void zfree(void *ptr);...
底层分配器
在linux下用C语言开发时,常用的内存分配是直接使用glib库的malloc,但是默认的glib库是直接管理大一块内存,内存分配和回收效率并不高,而且随着小对象反复分配和释放,必然产生大量内存碎片,总之,直接使用glib库不是高性能服务器的最佳选择。这些问题早已有之,因此linux下还有很多其他内存分配组件可以选择,例如tcmalloc和jemalloc,不了解的同学可以百度一下。redis也已经考虑到了这种情况,因此通过宏开关USE_TCMALLOC和USE_JEMALLOC来切换内存分配器的选择 ,如果定义了USE_TCMALLOC,则内存分配和回收的基础方法切换为tcmalloc库的相关函数,而如果定义了USE_JEMALLOC宏,则内存分配和回收的基础方法切换为jemalloc库的相关函数:
#if defined(USE_TCMALLOC)#define malloc(size) tc_malloc(size)#define calloc(count,size) tc_calloc(count,size)#define realloc(ptr,size) tc_realloc(ptr,size)#define free(ptr) tc_free(ptr)#elif defined(USE_JEMALLOC)#define malloc(size) je_malloc(size)#define calloc(count,size) je_calloc(count,size)#define realloc(ptr,size) je_realloc(ptr,size)#define free(ptr) je_free(ptr)#endif
内存统计
zmalloc分配内存时,会累加内存使用量(全局变量used_memory),作为全局变量,更新时必须考虑互斥访问了,redis通过宏__ATOMIC_RELAXED和HAVE_ATOMIC进行控制互斥访问的方式,如果定义了__ATOMIC_RELAXED,则使用__atomic_add_fetch/__atomic_sub_fetch来更新used_memory,否则如果定义了HAVE_ATOMIC,则使用__sync_add_and_fetch/__sync_sub_and_fetch来更新used_memory,如果两个宏都没有定义,则直接使用互斥锁:pthread_mutex_t:
#if defined(__ATOMIC_RELAXED)#define update_zmalloc_stat_add(__n) __atomic_add_fetch(&used_memory, (__n), __ATOMIC_RELAXED)#define update_zmalloc_stat_sub(__n) __atomic_sub_fetch(&used_memory, (__n), __ATOMIC_RELAXED)#elif defined(HAVE_ATOMIC)#define update_zmalloc_stat_add(__n) __sync_add_and_fetch(&used_memory, (__n))#define update_zmalloc_stat_sub(__n) __sync_sub_and_fetch(&used_memory, (__n))#else#define update_zmalloc_stat_add(__n) do { \ pthread_mutex_lock(&used_memory_mutex); \ used_memory += (__n); \ pthread_mutex_unlock(&used_memory_mutex); \} while(0)#define update_zmalloc_stat_sub(__n) do { \ pthread_mutex_lock(&used_memory_mutex); \ used_memory -= (__n); \ pthread_mutex_unlock(&used_memory_mutex); \} while(0)#endif
分配及回收
如果使用jemalloc或者tcmalloc作为内存分配器,则redis分配内存时不需要在多分配前缀(用于统计记录内存大小),否则(也即使用glib内存分配器),根据平台来确定内存前缀大小:
- 如果是sun/sparc平台,则前缀大小为sizeof(long long)
- 其他平台,例如x86,前缀大小为sizeof(size_t)
zmalloc分配内存时,根据用户请求分配的内存大小加上内存前缀大小来分配内存的,如果分配失败,则将错误信息输出到标准错误流中,并使用abort退出当前进程。如果分配成功,则在内存前缀中保存内存大小(只保存用户请求的内存大小,不包括前缀,但统计内存使用量的全局变量used_memory需要统计包括前缀部分的内存大小),然后指针偏移前缀大小返回给用户。
zfree释放内存时,如果使用了jemalloc或者tcmalloc作为内存分配器,则需要读取内存分配器获得指针指向内存的实际大小(这2个分配器可能会多分配内存),更新内存使用信息,然后直接释放该指针即可;如果是glib内存分配器,则需要获取内存前缀得到内存大小,然后更新内存使用信息,并直接释放内存
- redis系列-内存分配
- Redis内存分配策略
- Redis源码分析-内存分配
- Redis源码分析-内存分配
- redis内存预分配策略
- redis的内存分配问题
- Redis源码分析-内存分配
- Redis内存分配简单分析
- Redis源码剖析--内存分配
- Redis源码学习之【内存分配】
- 【redis源码分析】内存分配---zmalloc
- Redis使用TCMalloc提高内存分配性能
- redis fork时无法分配内存
- Redis内存优化--分配监控回收
- 服务器数据库系列 - memcache内存分配
- JVM系列文章(1):JVM内存分配
- JVM系列1:java内存区域分配
- 【内存分配系列】之系统分配进程内存(内存篇 第1节)
- 浅析xx_bos_managerment的开发技术
- 最优化
- 【转载】MIGO BAPI_GOODSMVT_CREATE 源代码
- MFC CMap整理
- 信号屏蔽(pending)
- redis系列-内存分配
- 23种设计模式-ProtoType原型模式
- iOS 友盟分享小技巧
- 如何使用JavaScript构建机器学习模型
- KL散度(Kullback-Leibler_divergence)
- 在 CentOS6.8 下配置安装部署FastDFS5.05+Nginx模块上传测试
- tiny-cnn开源库的使用(MNIST)
- 观察者模式
- Windows内核对象