利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配
来源:互联网 发布:淘宝网 微淘 编辑:程序博客网 时间:2024/05/17 08:13
TCMalloc的全称为Thread-Caching Malloc,是谷歌开发的开源工具google-perftools中的一个成员。与标准的glibc库的Malloc相比,TCMalloc库在内存分配效率和速度上要高很多,这在很大程度上提高了服务器在高并发情况下的性能,从而降低了系统的负载。
1.安装libunwind库
可以从http://download.savannah.gnu.org/releases/libunwind下载相应的libunwind版本
#wget http://ftp.twaren.net/Unix/NonGNU//libunwind/libunwind-1.1.tar.gz
#tar zxvf libunwind-1.1.tar.gz
#cd libunwind-1.1
#CFLAGS=-fPIC ./configure
#make CFLAGS=-fPIC
#make CFLAGS=-fPIC install
2.安装google-perftools
#wget http://gperftools.googlecode.com/files/gperftools-2.1.tar.gz
#tar zxvf gperftools-2.1.tar.gz
#cd gperftools-2.1
# ./configure
#make && make install
#echo "/usr/local/lib" > /etc/ld.so.conf.d/usr_local_lib.conf
# ldconfig
3.编译安装nginx
# wget http://nginx.org/download/nginx-1.4.2.tar.gz
# tar -zvxf nginx-1.4.2.tar.gz
# cd ./nginx-1.4.2
注意需要添加--with-google_perftools_module
#./configure --with-google_perftools_module --prefix=/usr/local/nginx
参考:Linux环境Nginx安装与调试(Nginx+PHP/phpfpm)
#make
#make install
4.修改Nginx主配置文件
修改nginx.conf文件,在pid这行的下面添加如下代码:
#pid logs/nginx.pid;
google_perftools_profiles /tmp/tcmalloc;
同时我们设置nginx启动2个工作进程
worker_processes 2;
daemon on;
master_process on;
5.为google-perftools添加线程目录
创建一个线程目录,将文件放在/tmp/tcmalloc下。
#mkdir /tmp/tcmalloc
#chmod 0777 /tmp/tcmalloc
6.启动Nginx
#/usr/local/nginx/sbin/nginx -c /usr/local/nginx/conf/nginx.conf
7.验证运行状态
为了验证google-perftools已经正常加载,可通过如下命令查看:
# lsof -n | grep tcmalloc
8.安装redis
Redis并没有自己实现内存池,没有在标准的系统内存分配器上再加上自己的东西。所以系统内存分配器的性能及碎片率会对Redis造成一些性能上的影响。
在Redis的 zmalloc.c 源码中,我们可以看到如下代码:
/* Explicitly override malloc/free etc when using tcmalloc. */#if defined(USE_TCMALLOC)#define malloc(size) tc_malloc(size)#define calloc(count,size) tc_calloc(count,size)#define realloc(ptr,size) tc_realloc(ptr,size)#define free(ptr) tc_free(ptr)#elif defined(USE_JEMALLOC)#define malloc(size) je_malloc(size)#define calloc(count,size) je_calloc(count,size)#define realloc(ptr,size) je_realloc(ptr,size)#define free(ptr) je_free(ptr)#endif
注意:redis-2.4以上自带jemalloc,你不需要加任何参数,通过zmalloc.c源码中我们可以看到,Redis在编译时,会先判断是否使用tcmalloc,如果是,会用tcmalloc对应的函数替换掉标准的libc中的函数实现。其次会判断jemalloc是否使得,最后如果都没有使用才会用标准的libc中的内存管理函数。所以用tcmalloc优化请谨慎使用,这两着分配器碎片率相差不大,建议用自带jemalloc。
如果要安装tcmalloc可以这样:
注意需要删除原先的redis的解压文件,不然安装无效!
# make USE_TCMALLOC=yes
# make install
检测tcmall信息
使用info命令查看内存信息:
更多参考:
使用Google的开源TCMalloc库,提高MySQL在高并发情况下的性能[张宴原创]
轻量级HTTP服务器Nginx(Nginx性能优化技巧)
TCMalloc:线程缓存的Malloc
TCMalloc优化MySQL、Nginx、Redis内存管理
2012年tcmalloc学习笔记之一
- 利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配
- Redis使用TCMalloc提高内存分配性能
- TCMalloc优化MySQL、Nginx、Redis内存管理
- TCMalloc优化MySQL、Nginx、Redis内存管理
- Jemalloc malloc的分配过程,以redis的第一次内存分配malloc(1)展开
- 利用TCMalloc优化Nginx的性能
- 利用TCMalloc优化Nginx的性能
- 利用TCMalloc优化Nginx的性能
- 关于glibc的malloc内存对齐
- 关于glibc的malloc内存对齐
- 内存分配,malloc()和free()
- 内存分配 malloc()和calloc()
- malloc原理和内存分配
- glibc内存泄露以及TCmalloc 简单分析
- tcmalloc为什么快,如何替换系统malloc
- ptmalloc,tcmalloc和jemalloc内存分配策略研究
- [转]ptmalloc,tcmalloc和jemalloc内存分配策略研究
- ptmalloc,tcmalloc和jemalloc内存分配策略研究
- 生成和解析xml的利器
- c#初学简单程序实例
- 选择排序算法
- 网站开发常用jQuery插件总结(三)拖拽插件gridster
- 冒泡排序
- 利用TCMalloc替换Nginx和Redis默认glibc库的malloc内存分配
- django using your own package
- UVA 10029 - Edit Step Ladders(记忆化搜索)
- IOS开发之__bridge,__bridge_transfer和__bridge_retained
- 对了,怎么发现不需要验证了呢
- ADF: managed bean 和 backing bean的区别
- 笔试面试题目1
- Java提高:多使用异常,把性能问题放一边
- 佳佳的困惑