tcpdump分析网络故障的例子

网络数据采集分析工具TcpDump分析详细例子

(1)网络邮件服务器(mail)在排障

我们先来看看故障现象，在一局域网中新安装了后台为qmail的邮件服务器server，邮件服务器收发邮件等基本功能正常，但在使用中发现一个普遍的怪现象：pc机器上发邮件时连接邮件服务器后要等待很久的时间才能开始实际的发送工作。我们来看，从检测来看，网络连接没有问题，邮件服务器server和下面的pc性能都没有问题，问题可能出在哪里呢？为了进行准确的定位，我们在pc机client上发送邮件，同时在邮件服务器server上使用tcpdump对这个client的数据包进行捕获分析，如下：

server#tcpdump host client

tcpdump: listening on hme0

23:41:30.040578 client.1065 ＞ server.smtp: S 1087965815:1087965815(0) win 64240 (DF)

23:41:30.040613 server.smtp ＞ client.1065: S 99285900:99285900(0) ack 1087965816 win 10136 (DF)

23:41:30.040960 client.1065 ＞ server.smtp: . ack 1 win 64240 (DF)

顺利的完成，到目前为止正常，我们再往下看：

23:41:30.048862 server.33152 ＞ client.113: S 99370916:99370916(0) win 8760 (DF)

23:41:33.411006 server.33152 ＞ client.113: S 99370916:99370916(0) win 8760 (DF)

23:41:40.161052 server.33152 ＞ client.113: S 99370916:99370916(0) win 8760 (DF)

23:41:56.061130 server.33152 ＞ client.113: R 99370917:99370917(0) win 8760 (DF)

23:41:56.070108 server.smtp ＞ client.1065: P 1:109(108) ack 1 win 10136 (DF)

看出问题了，问题在：我们看到server端试图连接client的113identd端口，要求认证，然而没有收到client端的回应，server端重复尝试了3次，费时26秒后，才放弃认证请求，主动发送了reset标志的数据包，开始push后面的数据，而正是在这个过程中所花费的26秒时间，造成了发送邮件时漫长的等待情况。问题找到了，就可以修改了，我们通过修改服务器端的qmail配置，使它不再进行113端口的认证，再次抓包，看到邮件server不再进行113端口的认证尝试，而是在三次检测后直接push数据，问题得到完美的解决。

(2)网络安全中的ARP协议的故障

先看故障现象，局域网中的一台采用solaris操作系统的服务器A-SERVER网络连接不正常，从任意主机上都无法ping通该服务器。排查：首先检查系统，系统本身工作正常，无特殊进程运行，cpu，内存利用率正常，无挂接任何形式的防火墙，网线正常。此时我们借助tcpdump来进行故障定位，首先我们将从B-CLIENT主机上执行ping命令，发送icmp数据包给A-SERVER，如下：

[root@redhat log]# ping A-SERVER

PING A-SERVER from B-CLIENT : 56(84) bytes of data.

此时在A-SERVER启动tcpdump，对来自主机B-CLIENT的数据包进行捕获。

A-SERVER# tcpdump host B-CLIENT

tcpdump: listening on hme0

16:32:32.611251 arp who-has A-SERVER tell B-CLIENT

16:32:33.611425 arp who-has A-SERVER tell B-CLIENT

16:32:34.611623 arp who-has A-SERVER tell B-CLIENT

我们看到，没有收到预料中的ICMP报文，反而捕获到了B-CLIENT发送的arp广播包，由于主机B-CLIENT无法利用arp得到服务器A-SERVER的地址，因此反复询问A-SERVER的MAC地址，由此看来，高层的出问题的可能性不大，很可能在链路层有些问题，先来查查主机A-SERVER的arp表：

A-SERVER# arp -a

Net to Media Table

Device IP Address Mask Flags Phys Addr

------ -------------------- --------------- ----- ---------------

hme0 netgate 255.255.255.255 00:90:6d:f2:24:00

hme0 A-SERVER 255.255.255.255 S 00:03:ba:08:b2:83

hme0 BASE-ADDRESS.MCAST.NET 240.0.0.0 SM 01:00:5e:00:00:00

请注意A-SERVER的Flags位置，我们看到了只有S标志。我们知道，solaris在arp实现中，arp的flags需要设置P标志，才能响应ARP requests。

手工增加p位

A-SERVER# arp -s A-SERVER 00:03:ba:08:b2:83 pub

此时再调用arp -a看看

A-SERVER# arp -a

Net to Media Table

Device IP Address Mask Flags Phys Addr

------ -------------------- --------------- ----- ---------------

hme0 netgate 255.255.255.255 00:90:6d:f2:24:00

hme0 A-SERVER 255.255.255.255 SP 00:03:ba:08:b2:83

hme0 BASE-ADDRESS.MCAST.NET 240.0.0.0 SM 01:00:5e:00:00:00

我们看到本机已经有了PS标志，此时再测试系统的网络连接恢复正常，问题得到解决。

(3)netflow软件的问题

先看故障现象,在新装的网管工作站上安装cisco netflow软件对路由设备流量等进行分析，路由器按照要求配置完毕，本地工作上软件安装正常，无报错信息，但是启动netflow collector却收不到任何路由器上发出的流量信息，导致该软件失效。 排查现象，反复检查路由和软件，配置无误。采用逐步分析的方法，首先先要定位出有问题的设备，是路由器根本没有发送流量信息还是本地系统接收出现了问题？突然想到在路由器上我们定义了接收的client端由udp端口9998接收数据，可以通过监视这个端口来看路由器是否确实发送了udp数据，如果系统能够接收到来自路由的数据包，那么路由方面的问题可能行不大，反之亦然。

在网管工作站上使用TcpDump分析来看看：

nms#tcpdump port 9995

tcpdump: listening on hme0

18:15:34.373435 routea ＞ nms.9995: udp 1464

18:15:34.373829 routea.50111 ＞ nms.9995: udp 1464

18:15:34.374100 routea.50111 ＞ nms.9995: udp 1464

马上我们就看到数据包确实从路由器上发过来了，问题出在路由器的可能性基本排除，重新核查系统，果然，网管工作站上安装了防火墙，udp端口9998是被屏蔽的，调整工作站上的防火墙配置，netflow工作恢复正常，故障得以排除。