Linux 大规模请求服务器连接数相关设置

1 需求

• 一般地， 一个大规模Linux服务器请求数可能是几十万甚至上百万的情况，需要足够的连接数来使用，所以务必进行相应的设置。

• 默认的Linux服务器文件描述符等打开最大是1024，用ulimit -a 查看：

[viewuser@~]$ ulimit -acore file size          (blocks, -c) 0   #coredump 文件大小data seg size           (kbytes, -d) unlimitedscheduling priority             (-e) 0file size               (blocks, -f) unlimitedpending signals                 (-i) 255622max locked memory       (kbytes, -l) 64max memory size         (kbytes, -m) unlimitedopen files                      (-n) 1024   #打开文件数量，root账户无限制pipe size            (512 bytes, -p) 8POSIX message queues     (bytes, -q) 819200real-time priority              (-r) 0stack size              (kbytes, -s) 8192cpu time               (seconds, -t) unlimitedmax user processes              (-u) 4096   #root用户本项是无限virtual memory          (kbytes, -v) unlimitedfile locks                      (-x) unlimited

• 如果超过了连接数量，可以在 /var/log/message 里面看到类似：
  May 14 16:13:52 hostname kernel: nf_conntrack: table full, dropping packet的信息，基本可以判定是fd不够用引起的。（服务器受到攻击也会有这个信息）

2 设置要求：假设要设置为100W最大打开文件描述符

1. 修改 nr_open 限制 （用途：一个进程能够配置nofile最大数）

   • cat /proc/sys/fs/nr_open
   • Linux 内核 2.6.25 以前，在内核里面宏定义是1024*1024(注等于1048576)，最大只能是100w（1048576），所以不要设置更大的值。如果Linux内核大于 2.6.25 则可以设置更大值。

   • 设置方法：

     sudo bash -c ‘echo 1000000 > /proc/sys/fs/nr_open’

   • 注意：只有修改了 nr_open 限制，才能修改下面的限制。
     如果 nr_open 的默认现有值如果高于我们的100w，那么可以不用修改。

2. 打开文件限制：修改 limits.conf 的nofile软硬打开文件限制（用途：tcp连接数）

   注意：原博文里标题为：打开文件描述符限制
   实际上，在/etc/security/limits.conf注释如下：
   nofile - max number of open files
   —– –lihai

   • 方法一，临时生效

     如果想针对当前登陆session临时生效文件描述符修改，
     可以直接使用 ulimit 命令：

     ulimit -SHn 1000000

     再执行相应的程序就能够正常使用不会超过限制，
     但是重启服务器会失效。
     如果想一直生效，可以把这个内容保存到/etc/rc.local 文件

     sudo echo “ulimit -SHn 1000000” >> /etc/rc.local

     注意：如果需要让 /etc/rc.local 下次启动生效，务必记得有该文件必须有执行权限：sudo chmod +x /etc/rc.local
     下次启动会自动执行这句，也是可以正常使用的。

   • 方法二，永久生效
     文件位置：/etc/security/limits.conf
     查找 nofile ，如果没有，则在最后加上：

     2.6.25 及以前内核设置为100W：
     * soft nofile 1000000
     * hard nofile 1000000
     2.6.25 以后版本内核可以设置为200W：
     * soft nofile 2000000
     * hard nofile 2000000
     （本操作必须重启才生效，如果无法重启，会无法生效，不确定是否使用 /sbin/sysctl -p 是否可以直接生效）
     注意：要 limits.conf生效，有部分需要加载/lib/security/pam_limits.so才能生效（默认情况一般不关心）。
     如果需要关注，则需要在 /etc/pam.d/login 在末尾追加 session required /lib/security/pam_limits.so ，但是目前新版内核应该都没问题问题，可以忽略。

3. 打开进程限制：修改 limits.conf 中的nproc限制 （用途：进程数）

   注：#limits.conf 注释
   -nproc - max number of processes

   • 如果对进程总数量没有特殊要求，可以不修改本选项，如果是一个高性能多进程的server，需要很多进程来处理，那么可以修改本选项。
   • ulimit -a 里可以看到 max user processes 如果值是比较大的，可以不用设置 nproc 项。

   配置文件：/etc/security/limits.d/20-nproc.conf （RHEL 7/CentOS 7，
   如果是 RHEL6.x/CentOS6.x 文件在 /etc/security/limits.d/90-nproc.conf）
   * soft nproc 4096
   root soft nproc unlimited

   即设置root无限（实际root用户限制是：255622），其他非root用户是4096个进程。

   • 硬限制表明soft限制中所能设定的最大值。 soft限制指的是当前系统生效的设置值。
     hard限制值可以被普通用户降低。但是不能增加。 soft限制不能设置的比hard限制更高。
   • 只有root用户才能够增加hard限制值。

4. 修改 file-max 选项 （用途：内核可分配文件句柄数目）

   • 方法一， 临时生效

     如果要修改，直接覆盖文件：（比如改成200w）
     sudo echo 1000000 > /proc/sys/fs/file-max
     注意：如果你想每次启动都自动执行上面的命令，可以在系统启动配置文件/etc/rc.local里面添加一句命令：（跟永久生效差不多）
     echo 1000000 > /proc/sys/fs/file-max
     或者直接Shell全搞定：
     echo “echo 1000000 > /proc/sys/fs/file-max” >> /etc/rc.local
     注意：如果需要让 /etc/rc.local 下次启动生效，务必记得有该文件必须有执行权限：sudo chmod +x /etc/rc.local

   • 方法二，永久生效

     修改配置文件/etc/sysctl.conf
     打开配置文件到最末尾，如果配置文件里没有则可以直接添加：
     sudo echo “fs.file-max = 1000000” >>/etc/sysctl.conf
     配置文件生效：sudo /sbin/sysctl -p

5. 修改TCP等相关选项

   • 方法一，临时生效

     直接使用类似于 echo VALUE > /proc/sys/net/core/wmem_max 来直接修改内存临时值生效。

   • 方法二，永久生效

 # 配置文件：/etc/sysctl.conf # 配置文件生效：sudo /sbin/sysctl -p # 查看如下信息：sysctl -anet.core.somaxconn = 2048   net.core.rmem_default = 262144  net.core.wmem_default = 262144  net.core.rmem_max = 16777216  net.core.wmem_max = 16777216  net.core.netdev_max_backlog = 20000  net.ipv4.tcp_rmem = 4096 4096 16777216  net.ipv4.tcp_wmem = 4096 4096 16777216  net.ipv4.tcp_mem = 786432 2097152 3145728  net.ipv4.tcp_max_syn_backlog = 16384  net.ipv4.tcp_fin_timeout = 30net.ipv4.tcp_keepalive_time = 300net.ipv4.tcp_max_tw_buckets = 5000net.ipv4.tcp_tw_reuse = 1  net.ipv4.tcp_tw_recycle = 0  net.ipv4.tcp_syncookies = 1net.ipv4.tcp_max_orphans = 131072fs.file-max = 2000000fs.inotify.max_user_watches = 16384net.netfilter.nf_conntrack_max = 6553500   #本选项在一些版本下无效，可以删除net.netfilter.nf_conntrack_tcp_timeout_established = 1200 #本选项在一些版本下无效，可以删除

参数说明：
(1) net.ipv4.tcp_rmem 用来配置读缓冲的大小，三个值，第一个是这个读缓冲的最小值，
第三个是最大值，中间的是默认值。
为了使每个socket所使用的内存数最小，可设置默认值为4096。

(2) net.ipv4.tcp_wmem 配置写缓冲的大小。读缓冲与写缓冲在大小，
直接影响到socket在内核中内存的占用。

(3) net.ipv4.tcp_mem 配置tcp的内存大小，其单位是页，而不是字节。
当超过第二个值时，TCP进入 pressure模式，此时TCP尝试稳定其内存的使用，
当小于第一个值时，就退出pressure模式。
当内存占用超过第三个值时，TCP就拒绝分配 socket了，
查看dmesg，会打出很多的日志“TCP: too many of orphaned sockets”。

(4) net.ipv4.tcp_max_orphans 表示系统所能处理不属于任何进程的 socket数量，
当需要快速建立大量连接时，就需要关注下这个值了。
当不属于任何进程的socket的数量大于这个值时，
dmesg就会看 到”too many of orphaned sockets”。

(5) net.ipv4.tcp_syncookies = 1表示开启SYN Cookies。当出现SYN等待队列溢出时，
启用cookies来处理，可防范少量SYN攻击。默认为0，表示关闭。

(6) net.ipv4.tcp_tw_reuse = 1表示开启重用。
允许将TIME-WAIT sockets重新用于新的TCP连接。
默认为0，表示关闭。

(7) net.ipv4.tcp_tw_recycle = 1表示开启TCP连接中TIME-WAIT sockets的快速回收。
默认为0，表示关闭。

(8) net.ipv4.tcp_fin_timeout修改系統默认的TIMEOUT时间。

(9) net.ipv4.tcp_max_syn_backlog 进入SYN包的最大请求队列。
默认1024。对重负载服务器，增加该值显然有好处。可调整到16384.

(10) net.ipv4.tcp_keepalive_time = 300 表示当keepalive起用的时候，
TCP发送keepalive消息的频度。缺省是2小时，改为300秒。

(11) net.ipv4.tcp_max_tw_buckets = 5000
表示系统同时保持TIME_WAIT套接字的最大数量。
如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。
默认为180000，改为5000。

(12)fs.file-max = 2000000 是指内核能够打开的文件描述符的最大数量。
如果系统报错：too many file opened，就需要修改本值
（本值必须跟 /etc/security/limits.conf 一块修改才生效）。

(13) fs.inotify.max_user_watches = 16384 设置文件系统变化监听上线。
如果在没满足各种正常的情况下，还出现tail -f这种watch事件报错
No space left on device，就是这个值不够了。

(14) net.ipv4.ip_local_port_range 。如果是客户端程序，为了更好的访问server程序，不是卡在端口分配上，
建议把客户端的端口（port_range）范围开大一些：
net.ipv4.ip_local_port_range = 1024 65535

参考文献：
[1] http://blog.csdn.net/heiyeshuwu/article/details/45692407 博主：黑夜路人