一次内存泄漏问题定位过程与分析

现场：

 

逻辑server服务器处理能力骤降, 客户端请求大量失败.  逻辑server的统计数据显示,请求量略有增长(客户端重试的结果), log内容显示访问外部接口有一定失败.

 

分析:

 

第一反应是外部接口失败导致进程处理堵塞,大量请求被堵塞后丢弃导致客户端重试. vmstat 1看了一下, 发现b字段保持在20-40之间,wa字段值远大于0, 说明进程在等待输入输出而被阻塞. 而swap的si字段值很大,说明系统大量使用交换分区,难道有内存泄漏? 

 

procs -----------memory---------- ---swap-- -----io---- -system-- -----cpu------
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
27 21 1052252 5415680   7308  29892    1    1     1     1    0    0  8  8 82  2  0
30 22 1052252 5414936   7308  30276  644    0   644     8 15045 27172  4  3 52 40  0
19 22 1052252 5414440   7328  29640  616    0   620   176 15259 26953  4  3 42 50  0
 3 21 1052252 5413696   7340  30084  572    0   572    32 15385 26809  3  3 45 48  0
 0 21 1052252 5413216   7340  29412  672    0   672     0 15105 26989  4  3 30 63  0

 

top 看了一下, 发现单个处理进程的RES占到了300m,而SHR占用了34m，SHR是进程启动时分配的共享内存，数值是合理的，而RES字段经验值是在36m-40m左右，说明有内存泄,因此重启了一下进程进行确认，重启之后top如下所示：

 

top - 13:38:13 up 31 days, 22:15,  1 user,  load average: 0.95, 1.57, 1.97
Tasks: 112 total,   8 running, 104 sleeping,   0 stopped,   0 zombie
Cpu(s): 17.9%us,  1.8%sy,  0.0%ni, 79.5%id,  0.0%wa,  0.0%hi,  0.9%si,  0.0%st
Mem:  16429836k total,  2236360k used, 14193476k free,   443520k buffers
Swap:  2104504k total,        0k used,  2104504k free,  1201280k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND                                                               
 8901 root      15   0 74816  38m  34m S    7  0.2   2:38.97  logic_worker                                                      
 9003 root      15   0 74840  38m  34m S    7  0.2   2:39.12  logic_worker

 

重启后，发现RES字段在不断增长，并且在SHR稳定在34m后还在持续上升，可以确定有内存泄漏。

 

解决：

 

查看进段时间的内存日报，发现曲线自2.3号发布新版本后内存使用量持续上升，从正常状态的3.3G，用到了8.7G，到今天内存已全部用尽，使用了交换分区，才出现异常。

 

对比当日版本代码变更，很快发现在一个外部库使用中，出现了内存泄漏，代码大致如下。

 

char *ptr;

int ret = Encode(ptr, len);

if (ret <0 )

{

    return ErrorEncode;

}

 

ret = send(ptr, len);

if (ret <0 )

{

    return ErrorSend;

}

return 0;

 

重新查看接口描述,发现ptr是在Encode里被malloc的，需要外部释放，于是修改代码如下：

 

char *ptr=NULL;

do

{

    int ret = Encode(ptr, len);

    if (ret <0 )

    {

        break;

    }

 

    ret = send(ptr, len);

    if (ret <0 )

    {

        break;

    }

}

 

if (NULL ！= ptr)

{

    free(ptr);

    ptr = NULL;

}

 

return ret;

 

修改后发布，10分钟后top观察，发现RES字段稳定在36m，问题解决。

 

总结：

1. 在使用外部库和接口时，一定要弄清楚api的使用方法和注意事宜，另外，在编写接口时也注意，最好不要在内部申请内存，而依赖外部释放，可以把上面Encode和Send封装到一个类中，或者一个接口中，接口本身负责编码和发送,内存申请和释放，调用者只需要知道返回码即可。

 

2. 在出现类似运营问题时，注意看系统参数是否异常，如果vmstat看 wa 和 si 值都异常，再综合top便可以看出，进程异常并不是因为请求量突增，处理时延而导致切换，而是因为内存泄漏的原因。

 

3. 注意对比监控曲线，如网络包量，请求量，内存使用，io使用等，通过对比，便可以看出，异常出现的时间点，结合代码变更便可定位出原因所在。