linux 下使用 tc 模拟网络延迟和丢包

1 模拟延迟传输简介

netem 与 tc: netem 是 Linux 2.6 及以上内核版本提供的一个网络模拟功能模块。该功能模块可以用来在性能良好的局域网中,模拟出复杂的互联网传输性能,诸如低带宽、传输延迟、丢包等等情况。使用 Linux 2.6 (或以上) 版本内核的很多发行版 Linux 都开启了该内核功能,比如 Fedora、Ubuntu、Redhat、OpenSuse、CentOS、Debian 等等。 tc 是Linux 系统中的一个工具,全名为 traffic control(流量控制)。tc 可以用来控制 netem 的工作模式,也就是说,如果想使用 netem ,需要至少两个条件,一个是内核中的 netem 功能被包含,另一个是要有 tc 。

需要注意的是:本文介绍的流控只能控制发包动作,不能控制收包动作,同时,它直接对物理接口生效,如果控制了物理的 eth0,那么逻辑网卡(比如 eth0:1)也会受到影响,反之,如果您在逻辑网卡上做控制,该控制可能是无效的。(注:虚拟机中的多个网卡可以在虚拟机中视为多个物理网卡)。

# tc qdisc add dev eth0 root netem delay 100ms

该命令将 eth0 网卡的传输设置为延迟 100 毫秒发送。易宝支付有限公司

更真实的情况下,延迟值不会这么精确,会有一定的波动,我们可以用下面的情况来模拟出

带有波动性的延迟值:

# tc qdisc add dev eth0 root netem delay 100ms 10ms

该命令将 eth0 网卡的传输设置为延迟 100ms ± 10ms(90 ~ 110 ms之间的任意值)发送。

还可以更进一步加强这种波动的随机性:

# tc qdisc add dev eth0 root netem delay 100ms 10ms 30%

该命令将 eth0 网卡的传输设置为 100ms ,同时,大约有 30% 的包会延迟± 10ms发送。示例:现在ping 一下 216机器:

易宝支付有限公司

可以看出数据明显的波动性。

3 模拟网络丢包:
# tc qdisc add dev eth0 root netem loss 1%

该命令将 eth0 网卡的传输设置为随机丢掉 1% 的数据包。示例:在216 上执行

#tc qdisc add dev eth0 root netem loss 10%

显示 16个包只有 13 个收到了。也可以设置丢包的成功率:

# tc qdisc add dev eth0 root netem loss 1% 30%

该命令将 eth0 网卡的传输设置为随机丢掉 1% 的数据包,成功率为30% 。

4.删除网卡上面的相关配置:将之前命令中的add 改为 del即可删除配置:

# tc qdisc del dev eth0 XXXXXXXXXXX(自己加的配置)该命令将 删除 eth0网卡的相关传输配置

至此,我们已经可以通过TC 在测试环境中模拟一定的网络延时和丢包的情况。下面是关于tc更多的应用和介绍

5 模拟包重复:
# tc qdisc add dev eth0 root netem duplicate 1%

该命令将 eth0 网卡的传输设置为随机产生1% 的重复数据包 。6模拟数据包损坏:

# tc qdisc add dev eth0 root netem corrupt 0.2%

该命令将 eth0 网卡的传输设置为随机产生0.2% 的损坏的数据包 。(内核版本需在2.6.16以上)

7 模拟数据包乱序:
# tc qdisc change dev eth0 root netem delay 10ms reorder 25% 50%

该命令将 eth0 网卡的传输设置为:有25% 的数据包(50%相关)会被立即发送,其他的延迟10秒。

新版本中,如下命令也会在一定程度上打乱发包的次序:# tc qdisc add dev eth0 root netem delay 100ms 10ms

8 查看已经配置的网络条件:# tc qdisc show dev eth0

该命令将 查看并显示eth0 网卡的相关传输配置9附录:TC流量控制

TC 是一个流量控制的工具,下面转了一篇关于TC 流量控制的文章。TC介绍

在 linux中,TC有二种控制方法CBQ 和 HTB.HTB是设计用来替换CBQ 的。它是一个层次式的过滤框架.

TC 包括三个基本的构成块:

队列规定qdisc(queueing discipline)、类(class)和分类器(Classifiers)

TC中的队列(queueing discipline):
用来实现控制网络的收发速度.通过队列,linux可以将网络数据包缓存起来,然后根据用户的

设置,在尽量不中断连接(如TCP)的前提下来平滑网络流量.需要注意的是,linux对接收队列的控制不够好,所以我们一般只用发送队列,即“控发不控收”.它封装了其他两个主要TC 组件(类和分类器)。内核如果需要通过某个网络接口发送数据包,它都需要按照为这个接口配置的qdisc(排队规则)把数据包加入队列。然后,内核会尽可能多地从qdisc里面取出数据包,把它们交给网络适配器驱动模块。

最简单的QDisc是 pfifo 它不对进入的数据包做任何的处理,数据包采用先入先出的方式通过队列。不过,它会保存网络接口一时无法处理的数据包。
队列规则包括FIFO(先进先出),RED(随机早期探测),SFQ(随机公平队列)和令牌桶(Token Bucket),类基队列(CBQ),CBQ是一种超级队列,即它能够包含其它队列(甚至其它CBQ)。

TC中的 Class类
class用来表示控制策略.很显然,很多时候,我们很可能要对不同的IP 实行不同的流量控制策略,这时候我们就得用不同的class来表示不同的控制策略了.

TC中的 Filter规则
filter用来将用户划入到具体的控制策略中(即不同的class中).比如,现在,我们想对xxa,xxb两个IP 实行不同的控制策略(A,B),这时,我们可用filter将 xxa 划入到控制策略A,将xxb 划入到控制策略B,filter划分的标志位可用u32 打标功能或IPtables的 set-mark (大多使用iptables来做标记)功能来实现。
目前,TC可以使用的过滤器有:fwmark分类器,u32分类器,基于路由的分类器和RSVP分类器(分别用于IPV6、IPV4)等;其中,fwmark分类器允许我们使用Linux netfilter代码选择流量,而u32 分类器允许我们选择基于ANY 头的流量.需要注意的是,filter (过滤器)是在QDisc内部,它们不能作为主体。

TC 的应用流程
数据包->iptables(在通过iptables时,iptables根据不同的ip 来设置不同的 mark)->TC(class)-

>TC(queue)

应用

假设eth0 位是服务器的外网网络接口。开始之前,先要清除eth0 所有队列规则

tc qdisc del dev eth0 root2> /dev/null> /dev/null1)定义最顶层(根)队列规则,并指定default类别编号

tc qdisc add dev eth0 root handle1:htb default2易宝支付有限公司

2) 定义第一层的1:1 类别 (速度)本来是要多定义第二层叶类别,但目前来看,这个应用中就可以了.

tc class add dev eth0 parent 1:1 classid 1:2 htb rate 98mbit ceil100mbit prio 2 tc class add dev eth0 parent 1:1 classid 1:3 htbrate 1mbit ceil 2mbit prio 2

注:以上就是我们控制输出服务器的速度,一个为98M,一个为2M.
rate: 是一个类保证得到的带宽值.如果有不只一个类,请保证所有子类总和是小于或等于父类.prio:用来指示借用带宽时的竞争力,prio越小,优先级越高,竞争力越强.
ceil: ceil 是一个类最大能得到的带宽值.

同时为了不使一个会话永占带宽,添加随即公平队列sfq.
tc qdisc add dev eth0 parent1:2handle 2:sfq perturb10tc qdisc

add dev eth0 parent 1:3 handle 3: sfq perturb 10

3) 设定过滤器
过滤器可以使用本身的u32 也可以使用 iptables来打上标记
指定在 root 类 1:0中,对 192..168.0.2的过滤,使用1:2 的规则,来给他98M 的速度,写法就如下

tc filter add dev eth0 protocol ip parent 1:0 u32 match ip src192.168.0.2 flowid 1:2 tc filter add dev eth0 protocol ip parent1:0 u32 match ip src 192.168.0.1 flowid 1:3

如果是所有ip 写法就如
tc filter add dev eth0 protocol ip parent1:prio 50u32 match ip

dst 0.0.0.0/0flowid 1:10使用Iptables来配合过滤器

还可以使用这个方法,但需要借助下面的iptables的命令来做标记了

tc filter add dev eth0 parent 1: protocol ip prio 1 handle 2 fwflowid 1:2 tc filter add dev eth0 parent 1: protocol ip prio 1handle 2 fw flowid 1:3

iptables 只要打上记号就行了

iptables -t mangle -A POSTROUTING -d 192.168.0.2 -j MARK --set-mark 10 iptables -t mangle -A POSTROUTING -d 192.168.0.3 -j MARK--set-mark 20

TC对最对高速度的控制
Rate ceiling速率限度
参数 ceil 指定了一个类可以用的最大带宽,用来限制类可以借用多少带宽.缺省的ceil 是和速率一样
这个特性对于ISP 是很有用的,因为他们一般限制被服务的用户的总量即使其他用户没有请求服务.(ISPS很想用户付更多的钱得到更好的服务) ,注根类是不允许被借用的,所以没有指定ceil

易宝支付有限公司

注: ceil的数值应该至少和它所在的类的速率一样高,也就是说 ceil 应该至少和它的任何一个子类一样高

Burst 突发
网络硬件只能在一个时间发送一个包这仅仅取决于一个硬件的速率.链路共享软件可以利用这个能力动态产生多个连接运行在不同的速度.所以速率和ceil 不是一个即时度量只是一个在一个时间里发送包的平均值.实际的情况是怎样使一个流量很小的类在某个时间类以最大的速率提供给其他类. burst 和cburst参数控制多少数据可以以硬件最大的速度不费力的发送给需要的其他类.
如果 cburst 小于一个理论上的数据包他形成的突发不会超过ceil 速率,同样的方法TBF 的最高速率也是这样.
你可能会问,为什么需要bursts .因为它可以很容易的提高向应速度在一个很拥挤的链路上.比如WWW 流量是突发的.你访问主页.突发的获得并阅读.在空闲的时间burst将再"charge"一次.
注: burst和 cburst 至少要和其子类的值一样大.

TC命令格式:

加入

tc qdisc [ add | change | replace | link ] dev DEV [ parent qdisc-id | root ] [ handle qdisc-id ] qdisc[ qdisc specific parameters ]
tc class [ add | change | replace ] dev DEV parent qdisc-id [ classid class-id ] qdisc [ qdisc specificparameters ]

tc filter [ add | change | replace ] dev DEV [ parent qdisc-id | root ] protocol protocol prio priorityfiltertype [ filtertype specific parameters ] flowid flow-id

显示

tc [-s | -d ] qdisc show [ dev DEV ]
tc [-s | -d ] class show dev DEV tc filter show dev DEV

查看TC 的状态
tc -s -d qdisc show dev eth0tc -s -d class show dev eth0

删除tc规则
tc qdisc del dev eth0 root

实例
使用 TC下载限制单个IP进行速度控制

tc qdisc add dev eth0 root handle 1: htb r2q 1 tc class add deveth0 parent 1: classid 1:1 htb rate 30mbit ceil 60mbit tc  filteradd dev eth0 parent 1: protocol ip prio 16 u32 match ip dst192.168.1.2  flowid 1:1

就可以限制 192.168.1.2 的下载速度为30Mbit最高可以60Mbit ,其中r2q,是指没有default的root,使整个网络的带宽没有限制

使用 TC对整段IP进行速度控制
tc qdisc add dev eth0 root handle1:htb r2q 1tc class add dev

易宝支付有限公司

eth0 parent 1: classid 1:1 htb rate 50mbit ceil 1000mbit tc filteradd dev eth0 parent 1: protocol ip prio 16 u32 match ip dst192.168.111.0/24 flowid 1:1

就可以限制 192.168.111.0到 255 的带宽为3000k了,实际下载速度为200k 左右。这种情况下,这个网段所有机器共享这200k 的带宽。
还可以加入一个sfq(随机公平队列)

tc qdisc add dev eth0 root handle 1: htb r2q 1 tc class add deveth0 parent 1: classid 1:1 htb rate 3000kbit burst 10k tc qdiscadd dev eth0 parent 1:1 handle 10: sfq perturb 10 tc filter adddev eth0 parent 1: protocol ip prio 16 u32 match ip dst192.168.111.168 flowid 1:1

sfq,他可以防止一个段内的一个ip 占用整个带宽。使用TC控制服务器对外的速度为10M

如下,我要管理一台服务器,只能向外发10M 的数据

tc qdisc del dev eth0 root tc qdisc add dev eth0 root handle1:htb tc class add dev eth0 parent 1:classid 1:1htb rate 100mbitceil 100mbit tc class add dev eth0 parent1:1classid 1:10htbrate 10mbit ceil 10mbit tc qdisc add dev eth0 parent1:10sfqperturb10tc filter add dev eth0 protocol ip parent1:prio 2u32 match ip dst220.181.xxx.xx/32flowid 1:1#上面这台,让220.181.xxx.xx/32这台跑默认的,主要是为了让这个ip连接进来不被控制tcfilter add dev eth0 protocol ip parent1:prio 50u32 match ip dst0.0.0.0/0flowid 1:10#默认让所有的流量都从这个通过