关于 Out of Socket memory

在Tomcat服务器的机器上，操作系统是 Linux RHEL 5.3，在dmesg的输出中发现很多类似的报错信息：

Out of socket memory
printk: 8 messages suppressed.

从网上搜了一下，发现两篇不错的解释这个错误的文章，综合一下摘录下来。

http://jaseywang.me/2012/05/09/%E5%85%B3%E4%BA%8E-out-of-socket-memory-%E7%9A%84%E8%A7%A3%E9%87%8A-2/

http://blog.tsunanet.net/2011/03/out-of-socket-memory.html

第二篇文章里那个博主开头有段说说的挺好：

“在我们开始之前，让我告诉你，在你自己没做任何作业的时候，你不应该相信任何博客或者论坛里给的建议，尤其是那些家伙建议你修改所有tcp相关的内核参数时。他们自己并不知道自己在干什么，而且大多数时候他们可能也并太懂TCP/IP。”

让我们开始吧。（提前说一下，我也还没对这些做过实验哪，仅供参考 ）

出现"Out of socket memory"消息的两种情况：

1.有很多的孤儿套接字(orphan sockets)
2.tcp socket 用尽了给他分配的内存

首先看看情况 2。对于 TCP socket 来说，使用 pages 来计数的，而非 bytes，一般情况下 1 page = 4096 bytes。page 大小可以通过下面命令获得：
$ getconf PAGESIZE
4096

查看内核分配了多少的内存给 TCP：
$ cat /proc/sys/net/ipv4/tcp_mem
69618   92825   139236
第一个数字表示，当 tcp 使用的 page 少于 69618 时，kernel 不对其进行任何的干预
第二个数字表示，当 tcp 使用了超过 92825 的 pages 时，kernel 会进入 “memory pressure”
第三个数字表示，当 tcp 使用的 pages 超过 139236 时，我们就会看到题目中显示的信息

查看 tcp 实际用的内存：
$ cat /proc/net/sockstat
sockets: used 116
TCP: inuse 3 orphan 0 tw 4 alloc 4 mem 110
UDP: inuse 1 mem 1
UDPLITE: inuse 0
RAW: inuse 0
FRAG: inuse 0 memory 0
可以看到，实际使用的 mem(110) 远远小于 69618，所以，“Out of socket memory”的错误是由于第一种情况引起的。

关于 orphan socket 的解释，请看这里。orphan socket 对于应用程序来说，意义不大，这也是内核要限制被 orphan socket 消耗内存的原因。而对于 web server 来说，有大量的 orphan socket 也属正常，那么多的连接放在那儿了。

查看 orphan socket 的限制：
$ cat /proc/sys/net/ipv4/tcp_max_orphans

65536

查看当前系统中的实际使用情况：
$ cat /proc/net/sockstat
sockets: used 14565
TCP: inuse 35938 orphan 21564 tw 70529 alloc 35942 mem 1894

在内核代码中有个运算，在某些特定的情况下，内核通过这个运算来处罚某些socket。处罚的办法就是将orphan的数量乘以2或者4，这样就人为地增加了orphan的数量。

在这种算法之下，有的时候虽然orphan的数量只是orphan socket限制值的1/2或者1/4，你仍然会收到很多烦人的”Out of socket memory“消息。

那么如何为orphan socket设定一个合理的限制值呢？一个比较靠谱的办法就是先观察系统高峰期时，系统实际产生的orphan，根据这个值乘以4，然后再将算出来的值稍微增大一点，设置为orphan socket的限制值。另外，每个 orphan 会消耗大概 64KB 的内存。

另外记得将这个值更新到/etc/sysctl.conf文件中的参数”net.ipv4.tcp_max_orphans“，这样系统重启后该参数不会被重置。

由于上面提到的那个算法，所以很多时候我们看到的”Out of socket memory“都是假消息。