利用linux处理网络流量数据
来源:互联网 发布:广东体育网络电视 编辑:程序博客网 时间:2024/06/05 22:58
周海汉/文 2009.1.15
http://blog.csdn.net/ablo_zhou
ablozhou #gmail.com
网络压力测试,需要处理原始数据,将原始的Byte/s 处理为Mbps,并通过直观曲线图表展示出来。
1.统计网卡流量
sar -n DEV 1 100 > net
得到网卡流量,原始数据如下:
10:32:41 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
10:32:42 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:42 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
10:32:43 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:43 eth0 79164.00 79161.00 8581912.00 8574255.00 0.00 0.00 0.00
10:32:43 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:43 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
...
10:34:19 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
10:34:20 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:43 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:43 eth0 79164.00 79161.00 8581912.00 8574255.00 0.00 0.00 0.00
10:32:43 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:43 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
...
10:34:19 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
10:34:20 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:20 IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
10:34:21 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:21 eth0 79657.00 79657.00 8602734.00 8606166.00 0.00 0.00 0.00
10:34:21 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:21 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:21 lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:21 eth0 79657.00 79657.00 8602734.00 8606166.00 0.00 0.00 0.00
10:34:21 eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:21 sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: IFACE rxpck/s txpck/s rxbyt/s txbyt/s rxcmp/s txcmp/s rxmcst/s
Average: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: eth0 40091.69 40091.51 4329888.64 4331543.93 0.00 0.00 0.00
Average: eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: lo 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: eth0 40091.69 40091.51 4329888.64 4331543.93 0.00 0.00 0.00
Average: eth1 0.00 0.00 0.00 0.00 0.00 0.00 0.00
Average: sit0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
其中rxbyt/s 表示每秒接受的byte数,txbyt/s 表示每秒发送的byte数。我们可以将其加工成Mbps
2. 我们需要处理 eth0网卡的流量,将其余流量去掉
cat net | grep eth0 > net1
我们得到数据如下:
10:32:42 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:32:43 eth0 79164.00 79161.00 8581912.00 8574255.00 0.00 0.00 0.00
...
10:32:43 eth0 79164.00 79161.00 8581912.00 8574255.00 0.00 0.00 0.00
...
10:34:20 eth0 0.00 0.00 0.00 0.00 0.00 0.00 0.00
10:34:21 eth0 79657.00 79657.00 8602734.00 8606166.00 0.00 0.00 0.00
Average: eth0 40091.69 40091.51 4329888.64 4331543.93 0.00 0.00 0.00
10:34:21 eth0 79657.00 79657.00 8602734.00 8606166.00 0.00 0.00 0.00
Average: eth0 40091.69 40091.51 4329888.64 4331543.93 0.00 0.00 0.00
3.我们需要处理rxbyt/s ,txbyt/s 将其余的列去掉
gawk '{print $5,$6}' net1 > net2
gawk 命令的执行格式:
gawk '模式匹配|命令语句 {动作}' 处理文件
我们这里没有模式匹配和语句,直接执行动作,打印第5第6列。
得到数据如下:
0.00 0.00
8581912.00 8574255.00
0.00 0.00
8723086.00 8726654.00
0.00 0.00
8718490.00 8721642.00
0.00 0.00
8558670.00 8562184.00
...
8581912.00 8574255.00
0.00 0.00
8723086.00 8726654.00
0.00 0.00
8718490.00 8721642.00
0.00 0.00
8558670.00 8562184.00
...
0.00 0.00
8602734.00 8606166.00
4329888.64 4331543.93
8602734.00 8606166.00
4329888.64 4331543.93
4.以上的数据,每行代表1秒,但网卡流量每2秒才能取到一次数据。所以是奇偶相间的数据。第0行开始的偶数行都是0. 我们将偶数行的 0 去掉。
这里方法很多。
a.) sed -n '{n;p}' net2 > net3
该命令表示用sed,隔一行打印一行。单引号里大括号的n表示跳到下一行,分号分隔命令,p表示打印命令。 -n表示安静模式,只打印输出。否则会读一行打印一行。
b.) gawk '$1 != 0.00 ' net2 > net3
gawk 可以带if表达式,循环,功能很强。因为数据很有规律,我们可以偷点懒,直接将第一列是0.00的数据行删掉。该命令表示第一列不等于0.00就打印出来。
gawk 可以带if表达式,循环,功能很强。因为数据很有规律,我们可以偷点懒,直接将第一列是0.00的数据行删掉。该命令表示第一列不等于0.00就打印出来。
5.将byte/s 处理为Mbps,并求2秒的均值。
gawk 'a=$1*8/(2*1024*1024), b=$2*8/(2*1024*1024){print a,b}' net3 > net4
将每一列的值*8,得到bit数,除以1M,得到Mbps,除以2得到均值,并赋给变量a,b。再打印出a和b的值。
6.将文件处理为csv文件,再通过excel程序来生成统计图表
用vi将最后一行平均值去掉。并可以在vi中用:%s/ /,/g 将空格替换为逗号,:w net.csv
7.用winSCP将net.csv传到windows,用excel 2007打开。
选中这两列数据,点插入,折线图,得到如下的图。可以调整一下标题和坐标说明。
- 利用linux处理网络流量数据
- 利用linux处理网络流量数据
- Linux下利用TC工具控制网络流量
- Linux查看网络流量
- Linux查看网络流量
- linux网络流量查看
- linux网络流量监控软件
- linux 下网络流量监控
- linux网络流量脚本
- Linux查看网络流量
- linux 下网络流量监控
- 监控linux 网络流量
- Linux查看网络流量
- linux网络流量监控脚本
- Linux查看网络流量KPI
- Linux查看网络流量
- linux网络流量监控
- linux 查看网络流量
- SS5连接远程桌面总是中断
- linux下cgi出错的原因
- 谁能帮帮我,教我做URL重定向
- sofsip学习系列---如何用C编写面向对象的代码
- session丢失问题
- 利用linux处理网络流量数据
- Flex WebService
- Ajax简介(转自http://dev2dev.bea.com.cn,包含例程下载)
- 领域驱动设计和开发实战 转载
- sofsip学习系列--GLib学习笔记一,简介
- 常用公钥算法及区别
- unicode字符和String类型相互转换
- JAVA上加密算法的实现用例MD5/SHA1,DSA,DESede/DES,Diffie-Hellman的使用
- Session对象的集合