网卡中断与多队列
来源:互联网 发布:发信息软件 编辑:程序博客网 时间:2024/06/05 10:55
网卡中断与多队列
X86系统采用中断机制协同处理CPU与其他设备工作。长久以来网卡的中断默认由cpu0处理,在大量小包的网络环境下可能出现cpu0负载高,而其他cpu空闲。后来出现网卡多队列技术解决这个问题。
通过命令cat /proc/interrupts 查看系统中断信息,应该是长下面这个样子。第一列是中断号,比如eth0对应的中断号是24,后面是每个cpu的中断数。
[~]# cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 0: 124 0 0 0 IO-APIC-edge timer 1: 0 3 2 1 IO-APIC-edge i8042 8: 0 1434 2 224 IO-APIC-edge rtc0 9: 0 0 0 0 IO-APIC-fasteoi acpi 11: 0 7 8 6 IO-APIC-fasteoi uhci_hcd:usb1 12: 0 40 38 37 IO-APIC-edge i8042 14: 0 0 0 0 IO-APIC-edge ata_piix 15: 0 1827 36 221 IO-APIC-edge ata_piix 24: 0 0 0 0 PCI-MSI-edge eth0 25: 0 7725709 1718 1717 PCI-MSI-edge eth1...
中断绑定
我们可以绑定中断号与处理CPU之间的关系,Linux系统用irqbalance服务优化中断分配,它能自动收集数据,调度中断请求。为了了解中断绑定,我们把irqbalance服务关掉,手工调整绑定关系。
/proc/irq/{IRQ_ID}/smp_affinity,中断IRQ_ID的CPU亲和配置文件,16进制
/proc/irq/{IRQ ID}/smp_affinity_list,10进制,与smp_affinity相通,修改一个相应改变。
[ ~]# cat /proc/irq/24/smp_affinity0001[ ~]# cat /proc/irq/24/smp_affinity_list 0#上面表示0001对应cpu0,可以直接修改绑定关系[ ~]# echo 4 > /proc/irq/24/smp_affinity[ ~]# cat /proc/irq/24/smp_affinity_list 2#此时中断号24对应的处理CPU为cpu2
[ ~]# mpstat -P ALL 1 1 Linux 2.6.32-504.23.4.el6.x86_64 03/02/2017 _x86_64_ (10 CPU)03:04:22 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle03:04:23 PM all 1.51 0.00 2.41 0.00 0.00 2.91 0.00 0.00 93.1703:04:23 PM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.0003:04:23 PM 1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.0003:04:23 PM 2 15.62 0.00 25.00 0.00 0.00 30.21 0.00 0.00 29.1703:04:23 PM 3 0.00 0.00 0.99 0.00 0.00 0.00 0.00 0.00 99.01
也可以通过查看/proc/interrupts,此时压测eth0,发现只有cpu2处理的中断数增加。
[ ~]# cat /proc/interrupts | grep 24: 24: 5249258 0 1304158 2074483 PCI-MSI-edge eth0[ ~]# cat /proc/interrupts | grep 24: 24: 5249258 0 1516771 2074483 PCI-MSI-edge eth0
亲缘性文件smp_affinity是16进制掩码,可以配置一个中断号和多个cpu绑定,单测试结果并没有将中断自动分配到多个CPU。
[ ~]# echo 11 > /proc/irq/24/smp_affinity[ ~]# cat /proc/irq/24/smp_affinity 0011#16进制11,表示二进制0000,0000,0001,0001,代表cpu0, cpu4[ ~]# cat /proc/irq/24/smp_affinity_list 0,4
网卡多队列
RSS(Receive Side Scaling)是网卡的硬件特性,实现了多队列,可以将不同的流分发到不同的CPU上。
通过将中断号绑定到多CPU并没有真正实现中断的分配。支持RSS的网卡,通过多队列技术,每个队列对应一个中断号,通过对每个中断的绑定,可以实现网卡中断在cpu多核上的分配。
[ ~]# ls /sys/class/net/eth0/queues/rx-0 rx-2 rx-4 rx-6 tx-0 tx-2 tx-4 tx-6rx-1 rx-3 rx-5 rx-7 tx-1 tx-3 tx-5 tx-7#eth0都多个队列,/proc/interrupts截取一段,长下面的样子 95: 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 PCI-MSI-edge eth0 96: 161 2175974 2046333 4627889 74362460 0 0 0 0 0 0 0 0 0 8340 39971887 111995 452 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-0 97: 18 27180874 5828740 3181746 1673296 0 0 0 0 0 0 0 0 0 0 7981462 0 0 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-1 98: 4255 20655084 5985539 3175797 2903580 0 0 0 0 0 0 0 0 0 0 11786675 2485 0 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-2 99: 26 14077166 9826129 3129857 3050199 0 0 0 0 0 0 0 0 0 0 15454795 0 1252 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-3 100: 80 13133364 9766015 2728504 3768519 0 0 0 0 0 0 0 0 0 0 14714758 0 0 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-4 101: 18 11351909 15644814 3581350 3822988 0 0 0 0 0 0 0 0 0 0 13055960 0 0 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-5 102: 2962 7283522 25860133 11902055 4747040 0 0 0 0 0 0 0 0 0 0 9042550 200 0 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-6 103: 18 12908096 12612013 3411346 5934445 0 0 0 0 0 0 0 0 0 0 10059911 0 0 0 0 0 0 0 0 PCI-MSI-edge eth0-TxRx-7
这样就可以通过对eth0的不同队列的中断号进行绑定。
RPS/RFS
RSS需要硬件支持,在不支持RSS的环境中,RPS/RFS提供了软件的解决方案。RPS(Receive Packet Steering)是把一个rx队列的软中断分发到多个CPU核上,从而达到负载均衡的目的。RFS(Receive Flow Steering)是RPS的扩展,RPS只依靠hash来控制数据包,提供负载平衡,但是没有考虑到应用程序的位置(指应用程序所在CPU)。RFS目标是通过指派应用线程正在运行的CPU处理中断,增加数据缓存的命中率。
[ ~]# echo 7 > /sys/class/net/eth0/queues/rx-0/rps_cpus#开启rps,16进制7代表二进制111,对应CPU0-2[ ~]# mpstat -P ALL 1 103:32:42 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %idle03:32:43 PM all 1.72 0.00 2.63 0.00 0.00 3.43 0.00 0.00 92.2203:32:43 PM 0 7.95 0.00 12.50 0.00 0.00 10.23 0.00 0.00 69.3203:32:43 PM 1 2.88 0.00 8.65 0.00 0.00 14.42 0.00 0.00 74.0403:32:43 PM 2 5.94 0.00 5.94 0.00 0.00 10.89 0.00 0.00 77.2303:32:43 PM 3 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00此时进行压测结果显示软中断基本分配到cpu0-2
注意
由于设备比较多,测试数据太长,上面的数据都是经过编辑,改动的地方不影响对中断、绑定和多队列的相关验证。
- 网卡中断与多队列
- 网卡多队列及中断绑定
- Redis调优--多队列网卡中断
- 多队列网卡CPU中断均衡
- 多队列网卡设置CPU中断绑定
- 多队列网卡及网卡中断绑定阐述
- 多队列网卡简介
- 多队列网卡简介
- 多队列网卡
- 多队列网卡简介
- 多队列网卡简介
- 多队列网卡简介
- 多队列网卡简介
- 多队列网卡简介
- Linux多队列网卡
- 多队列网卡特性
- 多队列网卡
- lvs 网卡多队列
- cocos2d js接入有米广告-ios版本
- Maven 私服 自动上传部署(附快速镜像)
- spring boot启动报Unable to start EmbeddedWebApplicationContext问题解决方案
- 正确使用Android性能分析工具——TraceView
- 为什么大多服务器跑的都是Linux?
- 网卡中断与多队列
- shell常用操作命令系列:文件相关操作命令
- IOS超时的另一种做法
- 18.Comparable,Comparator比较对象大小
- 微信红包-找出数组中过半数的数字
- Android的Paint、Canvas和Matrix讲解
- C++ 模版实现自定义释放类对象成员的堆内存空间
- activiti流程无法随事务回滚
- 什么是监督学习(supervised learning)