调整Linux的网络栈(Buffer Size)来提升网络性能
来源:互联网 发布:淘宝怎么入驻商家 编辑:程序博客网 时间:2024/06/09 13:59
本文基于CENTOS 、DEBIAN/UBUNTU 编写 。
我有两台位于不同数据中心的服务器,都用来处理很多并行的大文件传输。但是处理大文件,网络性能非常差。并且涉及到一个大文件,会导致性能降级。我怎样通过调整Linux下面的 TCP 来解决这个问题?
默认,Linux的stack是没有为广域网之间的大文件高速传输而配置的,这样做是为了节约内存资源。为了使连接的系统服务之间能有更加高速的网络处理更多的网络包,你可以很容易的通过增加网络 buffer size 来调整 Linux 网络 stack 。
默认的 Linux buffer size 的最大值是非常小的,tcp 的内存是基于系统的内存自动计算的,你能通过键入以下命令找到实际的值:
$ cat /proc/sys/net/ipv4/tcp_mem
默认的和最大的接收数据包内存大小:
$ cat /proc/sys/net/core/rmem_default$ cat /proc/sys/net/core/rmem_max
默认的和最大的发送数据包内存的大小:
$ cat /proc/sys/net/core/wmem_default$ cat /proc/sys/net/core/wmem_max
最大的内存 buffers 的选项:
$ cat /proc/sys/net/core/optmem_max
调整值
为所有的协议队列设置操作系统层面的最大的发送 buffer size (wmem) 和 接收 buffer size (rmem)为 12 MB。换句话说,设置内存数量,分配给每一个为了传送文件而打开或者是创建的 tcp socket 。
警告!在大多数的 Linux 中
rmem_max
和wmem_max
被分配的值为 128 k,在一个低延迟的网络环境中,或者是 apps 比如 DNS、Web Server,这或许是足够的。尽管如此,如果延迟太大,默认的值可能就太小了,所以请记录以下在你的服务器上用来提高内存使用方法的设置。
# echo 'net.core.wmem_max=12582912' >> /etc/sysctl.conf# echo 'net.core.rmem_max=12582912' >> /etc/sysctl.conf
你还需要设置 minimum size, initial size, and maximum size in bytes:
# echo 'net.ipv4.tcp_rmem= 10240 87380 12582912' >> /etc/sysctl.conf# echo 'net.ipv4.tcp_wmem= 10240 87380 12582912' >> /etc/sysctl.conf
打开 window scaling ,这是一个用来扩展传输窗口的选项:
# echo 'net.ipv4.tcp_window_scaling = 1' >> /etc/sysctl.conf
确保定义在 RFC1323 中的 timestamps
打开:
# echo 'net.ipv4.tcp_timestamps = 1' >> /etc/sysctl.conf
确保 select acknowledgments:
# echo 'net.ipv4.tcp_sack = 1' >> /etc/sysctl.conf
这个 “select acknowledgments” 不知道该如何翻译,翻译为“选择确认?”
当连接关闭的时候,TCP 默认缓存了很多连接指标在 route cache 中,以至于在不久的将来,连接建立的时候,可以用这些值来设置初始化条件。通常,这提升了整体的性能,但是,有时候会引起性能下降, 如果设置的话,TCP 在关闭的时候不缓存这些指标。
# echo 'net.ipv4.tcp_no_metrics_save = 1' >> /etc/sysctl.conf
当 interface 接收到的数据包数量比内核处理速度的快的时候, 设置 input 队列最大的 packets 数量值。
# echo 'net.core.netdev_max_backlog = 5000' >> /etc/sysctl.conf
现在重载这些改变,使其生效:
# sysctl -p
使用 tcpdump 命令查看 通过 eth0 数据包流量的变化:
# tcpdump -ni eth0
- 调整Linux的网络栈(Buffer Size)来提升网络性能
- 调整Linux的网络栈(Buffer Size)来提升网络性能
- Linux Network Tuning Linux网络环境性能优化调整
- Linux Network Tuning Linux网络环境性能优化调整
- 高性能Linux服务器优化策略二:调整网络参数
- 【翻译自mos文章】使用buffer memory 参数来调整rman的性能。
- 【重磅】移动网络性能揭秘(下)--网络协议及性能提升实践
- 【重磅】移动网络性能揭秘(下)--网络协议及性能提升实践
- 使用 sendfile() 提升网络文件发送性能
- 使用 sendfile() 提升网络文件发送性能
- Linux网络协议栈(二) -- 套接字缓存(socket buffer)
- Linux网络协议栈(二) -- 套接字缓存(socket buffer)
- linux网络编程--Circular Buffer(Ring Buffer) 环形缓冲区的设计与实现
- 2014年首个Linux内核更新发布 Linux 3.13提升了网络、内存性能
- Linux性能之网络
- Linux书籍(网络整理得来)
- 一次网络调整的过程
- 网络连接的顺序调整
- C++第六次作业-数组操作、字符串操作
- opencv:图像对比度、亮度值调整(理论基础)
- Node.js中使用nextTick来调度工作
- 关于java多线程浅析三:每个对象都有的方法
- opencv:离散傅里叶变换
- 调整Linux的网络栈(Buffer Size)来提升网络性能
- 实验五-数组
- CSS一页通
- Android中Canvas的常用方法总结
- CCF NOI1154 大整数开方
- opencv:dft()函数详解
- DRY原则的危害
- opencv:返回DFT最优尺寸大小—getOptimalDFTSize()函数
- 简单实现了下SSDT SHADOW HOOK