Linux的缓存机制及不同类型缓存的操作方法

1. linux中缓存的用途

在Linux系统中，为了提高文件系统性能，内核利用一部分物理内存分配出缓冲区，用于缓存系统操作和数据文件，当内核收到读写的请求时，内核先去缓存区找是否有请求的数据，有就直接返回，如果没有则通过驱动程序直接操作磁盘。

缓存机制优点：减少系统调用次数，降低CPU上下文切换和磁盘访问频率。
CPU上下文切换：CPU给每个进程一定的服务时间，当时间片用完后，内核从正在运行的进程中收回处理器，同时把进程当前运行状态保存下来，然后加载下一个任务，这个过程叫做上下文切换。实质上就是被终止运行进程与待运行进程的进程切换。

2. 系统内存状况及缓存类型

通常我们在命令行中通过命令free -m即可查看到系统内存的使用情况：

master:~$ free -m

                           total       used          free      shared    buffers     cached
Mem:                 15972      14854     1118       6479       430       7110
-/+ buffers/cache:             7312       8659
Swap:                  16305       6431      9874

可以看出，系统内存为16G, swap内存16G. mem free虽然显示为1118，因缓存的存在，不能认为系统目前内剩下这么多内存。而应该把buffers, cached的也算上，即free+cached+buffers=1118+7110+430＝8658, 总内存再减去8658＝7314，与buffers/cache行中对应free列的7312和8659基本一致。

buffers/cached/swap三类缓存分别指什么类型的缓存，有什么用途？

内核在保证系统能正常使用物理内存和数据量读写情况下来分配缓冲区大小。

buffers用来缓存metadata及pages，可以理解为系统缓存，例如，vi打开一个文件。

cached用来给文件做缓存，可以理解为数据块缓存，例如，dd if=/dev/zero of=/tmp/test count=1 bs=1G 测试写入一个文件，就会被缓存到缓冲区中，当下一次再执行这个测试命令时，写入速度会明显很快。

Swap是交换分区，即通常我们说的虚拟内存，是从硬盘中划分出的一个分区。当物理内存不够用的时候，内核就会释放缓存区（buffers/cache）里一些长时间不用的程序，然后将这些程序临时放到Swap中，也就是说如果物理内存和缓存区内存不够用的时候，才会用到Swap。

3. 不同缓存的操作方法

3.1  buffer类型

内核提供了接口/proc/sys/vm/drop_caches及写入不同的值来对不同类型的缓存作清理，如1,2,3分别对应pagecache, dentries/inodes, and pagecache/dentries/inodes。

如 echo 1 > /proc/sys/vm/drop_caches or sysctl -w vm.drop_caches=1   // 清理页面缓存

上面三种方式都是临时释放缓存的方法，要想永久释放缓存，需要在/etc/sysctl.conf文件中配置：vm.drop_caches=1/2/3，然后sysctl -p生效即可！

echo方法时需要root权限，sudo时也会报权限不够，只能通过sysctl来设置。

3.2 cache类型

主要针对文件缓存，数据块等，sync命令可以用来作清除。也可清除僵尸进程对象和它们所占的内存。

3.3 swap类型

针对交换分区的内存，可以通过开关来操作： swapoff -a && swapon -a  

这里还有一篇详细的swap参数调优： http://blog.csdn.net/tenfyguo/article/details/50185915

注意事项：

上面操作在大多数情况下都不会对系统造成伤害，只会有助于释放不用的内存。

但是如果在执行这些操作时正在写数据，那么实际上在数据到达磁盘之前就将它从文件缓存中清除掉了，这可能会造成很不好的影响。那么如果避免这种事情发生呢？
因此，这里不得不提一下/proc/sys/vm/vfs_cache_pressure这个文件，告诉内核，当清理inoe/dentry缓存时应该用什么样的优先级。

默认情况下，vfs_cache_pressure＝100， 备注中的英文翻译过来即：这个是默认值，内核会尝试重新声明dentries和inodes，并采用一种相对于页面缓存和交换缓存比较”合理”的比例。

减少vfs_cache_pressure的值，会导致内核倾向于保留dentry和inode缓存。
增加vfs_cache_pressure的值，（即超过100时），则会导致内核倾向于重新声明dentries和inodes
这样翻译还不直观，简单地说，理解成保留block cache和inode cache的百分比 比较直接，设的越低，打开文件越慢，因为文件缓存少，可能打开的没在缓存中。




附：

1. SUSE Lab工程师 2006年8月写的一篇文章： http://halobates.de/memorywaste.pdf    Where is the memory going? Memory wasteunder Linux 
2. ”Strom集群中频繁创建文件/stat文件引起Cache占用过多内存导致Linux系统内存不足的问题排查” http://os.51cto.com/art/201402/430458.htm