http://tech.foolpig.com/2012/07/11/linux-memory-slab-inode/

Linux系统内存消失与slab使用之谜

JUL

11

Linux系统内存消失与slab使用之谜

Filed under: 东写西读 |  

上周发现我们的一台应用服务器上面的内存莫名其妙被吃光，查看所有进程所使用的内存实际只占用了14G左右

[root@app]# ps aux|awk '{sum+=$6} END {print sum/1024}'14457.2

按照系统的内存32G来算，应该还有17G左右可用，但是查看可用内存却只有2487M

[root@app]# free -m                         total       used       free     shared    buffers     cachedMem:                     32177      32084         93          0       1612        782-/+ buffers/cache:                  29690       2487Swap:                        0          0          0

那么还有15G左右的内存去哪了呢？

进一步查看meminfo

[root@app]# cat /proc/meminfoMemTotal:     32949824 kBMemFree:         99736 kBBuffers:       1423264 kBCached:        1419108 kBSwapCached:          0 kBActive:       15054636 kBInactive:      1275644 kBHighTotal:           0 kBHighFree:            0 kBLowTotal:     32949824 kBLowFree:         99736 kBSwapTotal:           0 kBSwapFree:            0 kBDirty:          131728 kBWriteback:           0 kBAnonPages:    13487512 kBMapped:          18640 kBSlab:         16370936 kBPageTables:      93860 kBNFS_Unstable:        0 kBBounce:              0 kBCommitLimit:  16474912 kBCommitted_AS: 16199820 kBVmallocTotal: 34359738367 kBVmallocUsed:    264192 kBVmallocChunk: 34359473391 kBHugePages_Total:     0HugePages_Free:      0HugePages_Rsvd:      0Hugepagesize:     2048 kB

其中的slab，查看相关资料：
通常的说法是：内核数据结构缓存的大小，可以减少申请和释放内存带来的消耗
这里的说法太笼统了

详细的说法如下：
在linux内核中会有许多小对象，这些对象构造销毁十分频繁，比如i-node，dentry。这么这些对象如果每次构建的时候就向内存要一个页，而其实际大小可能只有几个字节，这样就非常浪费，为了解决这个问题就引入了一种新的机制来处理在同一页框中如何分配小存储器区，这个机制可以减少申请和释放内存带来的消耗，这些小存储器区的内存称为Slab

在suse和ubuntu中查看meminfo会发现他们将slab分的很清楚，包括SReclaimable和SUnreclaim
其中SReclaimable指可收回Slab的大小，SUnreclaim不可回收的slab大小，但是在redhat之中没有进行区分

通过查看服务器上面的inode（使用df -i）,发现已经占用了40%，与同事沟通时发现report_data/generate 目录下很多小文件，造成了大量占用inode，删除掉部分之后，目前inode还占用了16%

[root@app]# df -i/dev/mapper/kw-DATA  53248000 8106118 45141882   16% /mnt/DATA

这时候可用内存达到了差不多10G左右，meminfo中的slab占用在4G左右了。