nf_conntrack_max 参数测试与排查

压测步骤：

1.  新建一台操作系统为centos7云服务器B（10.173.34.83），部署并启动nginx；

开启防火墙：systemctlstart firewalld；

开启80端口：添加 firewall-cmd --zone=public --add-port=80/tcp –permanent

重载 firewall-cmd--reload

 

2.  新建一台操作系统为centos7云服务器A（10.173.33.4），安装压力测试工具webbench：

wget http://blog.s135.com/soft/linux/webbench/webbench-1.5.tar.gz  

tar zxvf webbench-1.5.tar.gz 

cd webbench-1.5  

make && make install

如果在编译webbench的时候，出现/bin/sh: ctags: command notfound：yum -y install ctags  

3.  webbench -c 5000 -t 120 http://10.173.34.83:80/

参数说明：-c表示并发数，-t表示时间(秒)

 

4.  出现云服务器间内网访问不通，如下图：

 

 

问题排查：

 

第一步查看 dmesg 是否有错误信息：

1.  若有如图所示的信息：

conntrack默认最大跟踪65536个连接，查看当前系统设置最大连接数cat /proc/sys/net/netfilter/nf_conntrack_max

2.  修改最大连接数 vim /ect/sysctl.conf

net.netfilter.nf_conntrack_max = 655350

修改完后执行 sysctl -p

 

3.  验证修改结果：

 

 

 

 

 

其他排查手段：

服务器性能瓶颈：

先查看性能监控CPU 带宽（内网:500Mbps L3:10Mbps）等是否出现瓶颈；

 

并发量压不上去：

查看端口最大的监听队列的长度cat /proc/sys/net/core/somaxconn 是否已经修改；#默认为128

 

抓包分析：

在10.173.33.4 上：ping 10.173.34.83  并抓包 tcpdump -i eth0-vnn icmp。发现只有request

 

在10.173.34.83 上ping 10.173.33.4 并抓包 tcpdump -i eth0 -vnn icmp。并没有发送request

 

这也能确认问题出现在10.173.34.83，再结合dmesg查看具体问题。