结合Wireshark深入理解TCP/IP协议

来源:互联网 发布:知乎杀人案烟锁殡仪馆 编辑:程序博客网 时间:2024/03/29 14:07


物理层数据帧

Frame 1 (62 bytes on wire, 62 bytes captured) 1号帧,线路62字节,实际捕获62字节
Arrival Time: Jan 21, 2008 15:17:33.910261000      捕获日期和时间
[Time delta from previous packet:0.00000 seconds]此包与前一包的时间间隔
[Time since reference or first frame: 0.00 seconds]此包与第1帧的间隔时间
Frame Number: 1                                    帧序号
Packet Length: 62 bytes                            帧长度
Capture Length: 62 bytes                           捕获长度
[Frame is marked: False]                           此帧是否做了标记:否
[Protocols in frame: eth:ip:tcp]                   帧内封装的协议层次结构
[Coloring Rule Name: HTTP]            用不同颜色染色标记的协议名称:HTTP
[Coloring Rule String: http || tcp.port == 80]     染色显示规则的字符串
此内容摘录自:《WireShark帧格式解析》


数据链路层(以太网帧)

摘要:
    本文摘抄并整理了以太网相关理论知识,包括CSMA/CD协议机制及工作、LAN互连,详细分析了Ethernet II帧格式,最后给出Ethernet II帧实例。
一、以太网[1]
1.1 概述
    以太网(Ethernet)是一种计算机局域网组网技术。IEEE制定的IEEE 802.3标准给出了以太网的技术标准。它规定了包括物理层的连线、电信号和介质访问层协议的内容。以太网是当前应用最普遍的局域网技术。它很大程度上取代了其他局域网标准,如令牌环网(token ring)、FDDI和ARCNET。 以太网的标准拓扑结构为总线型拓扑,但目前的快速以太网(100BASE-T、1000BASE-T标准)为了最大程度的减少冲突,最大程度的提高网络速度和使用效率,使用交换机(Switch hub)来进行网络连接和组织,这样,以太网的拓扑结构就成了星型,但在逻辑上,以太网仍然使用总线型拓扑和CSMA/CD(Carrier Sense Multiple Access/Collision Detect 即带冲突检测的载波监听多路访问)的总线争用技术[1]。
    以太网基于网络上无线电系统多个节点发送信息的想法实现,每个节点必须取得电缆或者信道的才能传送信息,有时也叫作以太(Ether)。(这个名字来源于19世纪的物理学家假设的电磁辐射媒体-光以太。后来的研究证明光以太不存在。) 每一个节点有全球唯一的48位地址也就是制造商分配给网卡的MAC地址,以保证以太网上所有系统能互相鉴别。由于以太网十分普遍,许多制造商把以太网卡直接集成进计算机主板。

1.2 CSMA/CD
    带冲突检测的载波侦听多路访问 (CSMA/CD)技术规定了多台电脑共享一个信道的方法。这项技术最早出现在1960年代由夏威夷大学开发的ALOHAnet,它使用无线电波为载体。这个方法要比令牌环网或者主控制网要简单。CSMA/CD使用了以下机制:
   (1)没有任何使用时隙(适配器可以在任何时刻开始传输)
   (2)其他适配器传输时进行载波侦听(侦听到其他适配器在传输,它决不会传输帧)
   (3)传输时进行碰撞检测(检测到其他适配器在传输,它中止自己传输)
   (4)重传之前,适配器等待一个随机时间
    注:(2)(3)是以太网适配器通过测量传输前和传输过程中的电压等级进行的。
适配器从网络层获得数据报,执行以下步骤(CSMA/CD协议工作):
   (1)成帧,并把帧放到适配器缓冲区中
   (2)如果适配器侦听到信道空闲(即在96比特时间内,没有信号能量从信道进入适配器),则开始传输该帧,否则等待直到线路空闲
   (3)如果适配器在传输过程中没有检测到其他适配器的信号能量,并且传输了整个帧,则成功传输,否则停止传输,并且传输一个48比特的拥塞信号,传完之后,适配器进入一个指数回退阶段。
   (4)如果超过最大尝试次数,则退出传输模块,并向网络层协议报告发送失败
    指数回退算法是指一帧连续经历n次碰撞后,适配器随机从0~(2^m -1)随机选择一个值(假设为K),等待K*512比特时间再传输。这里m为10和n较小的一个,即m=min(n, 10)。

1.3 LAN互联
(1)中继器
    因为信号的衰减和延时,以太网段有距离限制(如10BASE5同轴电缆最长距离500米),中继器可以把电缆中的信号放大再传送到下一段。中继器最多连接5个网段,当一段同轴电缆断开,中继器可以保证其他网段正常工作。
(2)集线器
    随着应用的拓展,人们逐渐发现星型的网络拓扑结构最为有效,于是设备厂商们开始研制有多个端口的中继器。多端口中继器即为集线器,集线器可以连接到其他集线器或者同轴网络。集线器是物理层设备,当一比特到达某接口时,集线器增强它的信号能量,传输到所有其他接口。
    采用集线器组网的以太网尽管在物理上是星型结构,但在逻辑上仍然是总线型的,半双工的通信方式采用CSMA/CD的冲突检测方法,集线器对于减少包冲突的作用很小。每一个数据包都被发送到集线器的每一个端口,所以带宽和安全问题仍没有解决。
(3)网桥
    桥接工作在数据链路层,只有格式完整的数据包才能从一个网段进入另一个网段,冲突和错误数据包被隔离。通过记录分析网络上设备的MAC地址,网桥可以判断它们都在什么位置,这样它就不会向非目标设备所在的网段传递数据包。
(4)交换机
    早期的网桥需要检测每一个数据包,当同时处理多个端口的时候,数据转发相对Hub来说要慢。以太网交换机把桥接功能用硬件实现,这样就能保证转发数据速率达到线速。
    尽管以太网交换机布线同Hub以太网是一样的,但是交换式以太网比共享介质以太网有很多明显的优势,如更大的带宽和更好地隔离异常设备。交换机端口和所连接的设备必须使用相同的双工设置,即这些设备通过信号来协调要使用的速率和双工设置。
    交换机加电后,首先也像Hub那样工作,转发所有数据到所有端口。接下来,当它学习到每个端口的地址以后,他就只把非广播数据发送给特定的目的端口。这样,线速以太网交换就可以在任何端口对之间实现,所有端口对之间的通讯互不干扰。 因为数据包一般只是发送到他的目的端口,所以交换式以太网上的流量要略微小于共享介质式以太网。尽管如此,交换式以太网依然是不安全的网络技术,因为它还很容易因为ARP欺骗或者MAC满溢而瘫痪,同时网络管理员也可以利用监控功能抓取网络数据包。

二、以太网帧格式
    以太网发展到现在,有很多种类型,不同类型的帧具有不同的格式和MTU值,甚至同种物理媒体上都可同时存在[2]。如Ethernet II(ARPA)、Ethernet 802.3 raw(Novell Ethernet)、Ethernet 802.3 SAP、Ethernet 802.3 SNAP、。本文只介绍最常用的以太网帧Ethernet II,其格式如下:

      目标MAC地址、源MAC地址
      每个适配器都有唯一的MAC地址,IEEE管理着这些物理空间地址。厂商从IEEE购买一个地址空间块,厂商自己分配设备编号,MAC地址示意图如下:


    类型
          指示以太网帧所携带的网络层数据类型,常用的类型与值如下表:

类型

Netware

8137

XNS

0600,0807

IP

0800

ARP

0806

RARP

8035

IP(Wines)

0BAD,80C4

DRP

6003

LAT

6004

LAVC

6007

ARP(AppleTalk)

80F3


数据
FCS
    帧校验序列(Frame Check Sequence,FCS)采用32位CRC循环冗余校验,旨在检测帧是否引入了错误(即比特是否发生翻转),差错的原因包括信号强度衰减和电磁能量泄露。传输该帧的适配器构造以太网帧时,计算CRC填入FCS字段,目的适配器接收到帧后,对帧执行同样的映射,比较两者的值。
    其他以太网帧格式,可参见如下博文《四种格式的以太网帧结构》。

三、报文实例
我所捕获的分组都是Ethernet II帧,截取百度DNS请求报文的帧,如下:

我有个问题,为什么从Wireshark捕获的帧,没有Ethernet II帧的FCS字段,是本来就没有,还是帧格式本来就没有FCS这个字段?求指点,谢谢:-)
此部分摘录自:《结合Wireshark捕获分组深入理解TCP/IP协议之以太网帧》

网络层

摘要:
    本文简单介绍了网络层理论知识,详细讲解了IP数据报各个字段,并从Wireshark俘获分组中选取IP数据报进行分析,也阐述了分组和分片的区别。


一、IPv4数据报
    网络层是处理端到端数据传输的最低层。网络层关注如何将分组从源端沿着网络路径送达目的端,期间可能需要经过许多跳中间路由器。即提供转发(数据从路由器那个接口出去)、选路(发送方与接收方间的路径)、网络建立(如ATM、帧中继)。这里以IPv4为例,关于IPv6报文格式详见博文《IPv4与IPv6数据报格式详解》。

                  IPv4数据报格式

版本号(version)
    不同的IP协议版本使用不同的数据报格式。
首部长度(HL, Internet Head Length)
    确定IP数据报中数据部分实际从哪里开始,包含可变数量的选项。若IP数据报没有包含选项,则IP数据报首部长度为20字节。
服务类型(TOS, Type Of Service)
    更好地服务不同类型IP数据报(如实时数据报IP电话应用、非实时通信流FTP),Cisco将TOS前3位标识不同服务等级,即优先级。
数据报长度(TL, Total Length)
    IP数据报长度,即首部+数据。
分片:标识(identification)、标志(flags)、段位移(Fragment Offset)
    这3个字段跟IP分片有关,当目的主机从同一个源收到一批数据报时,需要确定这些数据报是完整数据报还是分片后的数据报,数据报首部标识字段解决这个问题,检查数据报的标识号确定哪些数据报真正是同一个较大数据报的片;如何判断最后一个分片已收到,数据报首部标志字段解决这个问题,将最后一片的标志为0,其他标记为1;如何顺序重组这些片,这就需要记录每个片的在数据报有效净荷的偏移量,这也确定了片是否丢失。若丢失某些片,则丢弃这个不完整的数据报(不会交给传输层)。需要可靠传输怎么办呢,由传输层让源重传原始数据摄中的数据(如TCP)。
寿命(TTL, Time To Live)
    每次数据报经过一台路由器时,该字段的值减1,若TTL字段减为0,则丢弃该数据报,从而确保数据报不会永远在网络循环。
上层协议(Protocol)
    该字段用于指明IP数据报的数据部分应该交给哪个传输层协议(6为TCP、17为UDP)。
首部检查和(Header Checksum)
    只是对IP首部进行检验,对整个TCP/UDP报文段检验交由TCP/UDP完成。将首部中的每两个字节当作一个数,用反码运算对这些数求和,该和按1补码值存放在检查和字段。当路由器收到IP数据报时,计算其首部检查和,与该字段值比较,若出错则丢弃该数据报。注:因为TTL字段及选项字段可能改变,所以每个路由器上的检查和都须重新计算并存放在原处。(检查后,再更新)
源和目的IP地址(Source/Destination Address)

选项(Options)

    选项字段允许IP首部被扩展,由此导致数据报首部长度可变,故不能预先确定数据字段从何开始,同时也使路由器处理一个IP数据报所需时间差异很大(有的要处理选项,有的不需要)。
数据(Data)
    当使用TCP/UDP协议时,数据即为传输层报文段(TCP/UDP)。数据字段也可承载其他类型数据,如ICMP报文段。

二、实例解析
    以请求百度首页基本HTML为例,因HTTP报文太大(3835字节),网络层对其进行分片,共4片,如下图(截自Wireshark俘获的HTTP响应报文):


                          图2 数据分片实例

整个HTTP报文传输示意图如下:



2.1 分片
    IP数据报首部字段的标识(identification)、标志(flags)、段位移(Fragment Offset) 用来处理分片。当目的主机从同一个源收到一批数据报时,需要确定这些数据报是完整数据报还是分片后的数据报,数据报首部标识字段解决这个问题,检查数据报的标识号确定哪些数据报真正是同一个较大数据报的片;如何判断最后一个分片已收到,数据报首部标志字段解决这个问题,将最后一片的标志为0,其他标记为1;如何顺序重组这些片,这就需要记录每个片的在数据报有效净荷的偏移量,这也确定了片是否丢失。若丢失某些片,则丢弃这个不完整的数据报(不会交给传输层)。需要可靠传输怎么办呢,由传输层让源重传原始数据摄中的数据(如TCP)。
    将该4个IP数据报(组成该完整的HTTP报文)的标识、标志、段位移部分抽出来,如下图所示:

可以看出,IP数据报并没有分片,这是因为这些IP数据报封装成帧并没有超过MTU(以太网MTU为1500字节)。蛮想找一个有分片的IP数据报分析下,可惜俘获的分组没有:-(
    不尽要问,当报文太大时,什么时候划分报文呢?主要是在两个地方:传输层TCP分组、网络层IP分片。
(1)分组
    TCP把应用程序交给它的报文分成合适的小块交给下面网络层,要不要分取决于应用层报文是否大于MSS(想想TCP连接建立时最大报文段MSS大小的协商,注MSS仅包含TCP报文段的净荷数据,不包括TCP首部),怎么分取决于特定的分组算法。本例将3836字节长度HTTP报文分成:411+1440+1440+545。
(2)分片
    IP数据报在发送方与目的地间传输可能选择不同的路径,路径上的每段链路可能使用不同的链路层协议,协议可能具有不同的最大传输单(MTU,链路层数据报能承载的最大数据量)。当出链路的MTU比IP数据报的长度小时,需要将过大的IP数据报分片。IPv4数据报首部字段标识、标志、偏移量解决这个问题。
    值得注意的是,IP数据报分片在网络层重组,重组好了,再交给传输层。TCP报文段在传输层重组,重组好了,再交给应用层。
2.2 IP数据报实例
接下来,取一个完整IP数据报分析(以第一个数据报为例,即27),如下:

 IP数据报首部没有选项字段,长度为20字节,数据报长度451=IP数据报首部长度20(没有选项字段)+TCP首部长度20(没有选项字段)+TCP报文段的数据字段411(实为HTTP报文前411字节)。
此部分摘录自:《结合Wireshark捕获分组深入理解TCP/IP协议之IP协议》

传输层

摘要:
    本文简单介绍了TCP面向连接理论知识,详细讲述了TCP报文各个字段含义,并从Wireshark俘获分组中选取TCP连接建立相关报文段进行分析。

一、概述
    TCP是面向连接的可靠传输协议,两个进程互发数据之前需要建立连接,这里的连接只不过是端系统中分配的一些缓存和状态变量,中间的分组交换机不维护任何连接状态信息。连接建立整个过程如下(即三次握手协议):
首先,客户机发送一个特殊的TCP报文段;
其次,服务器用另一个特殊的TCP报文段来响应;
最后,客户机再用第三个特殊报文段作为响应。

二、TCP报文格式
2.1 概述
为了提供可靠的数据传输,TCP报文首部字段有较多的字段,TCP报文格式如下图:


源和目标端口
    用于多路复用/多路分解来自或送至上层应用的数据,可以这样理解,端口用来标识同一台计算机的不同进程。
序列号和确认号
    这两个字段是TCP可靠传输服务的关键部分,序列号是该报文段首字节的字节流编号(TCP把数据看成是有序的字节流,TCP隐式地对数据流的每个字节进行编号)。这样理解可能更直观,当报文被分解成多个报文段时,序列号就是报文段首字节在整个报文的偏移量。确定号指定下一个期待的字节。TCP是全双工的,假设从主机A接收到主机B的数据,则主机A填充进报文段的确认号是主机A期望从主机B收到的下一个字节序号。还没理清这两者的关系?见下图(三次握手):


首部长度(4位)
    因为选项是不定长的,这就需要标识整个首部字段的长度(单位是32位字),即5+选项个数。4位,单位是32位字,所以首部最长是15*4=60字节,即选项最长是40字节(10个选项)。
标志
URG
    指示报文段里存在着被发送方的上层实体标记为"紧急"数据,当URG=1时,其后的紧急指针指示紧急数据在当前数据段中的位置(相对于当前序列号的字节偏移量),TCP接收方必须通知上层实体。
ACK
    当ACK=0时,表示该数据段不包含确认信息,当ACK=1时,表示该报文段包括一个对已被成功接收报文段的确认。
PSH
    当PSH=1时,接收方在收到数据后立即将数据交给上层,而不是直到整个缓冲区满。
RST
    用于重置一个已经混乱的连接(如主崩溃),也可用于拒绝一个无效的数据段或者拒绝一个连接请求。一般而言,如果你得到的数据段被设置了RST位,那说明你这一端有问题了。
SYN
    用于建立连接过程,在连接请求中,SYN=1和ACK=0表示该数据段没有使用捎带的确认域,而连接应答捎带一个确认,即SYN=1和ACK=1。
    注:捎带是指对客户机到服务器数据的确认被装载在一个承载服务器到客户机的数据报文段中。
FIN
    用于释放一个连接,表示发送方已经没有数据要传输了。此时,接收方可能继续接收数据,好在SYN和FIN数据段都有序列号,从而保证了这两种数据段以正确顺序被处理。
窗口大小
    用于流控制(确保连接的任何一方都不会过快地发送过量的分组而淹没另一方),窗口大小指定了从被确认的字节算起可以发送多少个字节。
校验和
    提供了额外可靠性,在计算检验和的时候,TCP的Checksum域设为0,如果数据域的字节数为奇数,则数据域填补一个额外的0字节。校验和算法:将所有的16位字按1的补码形式累加起来,取累加结果的补码。因此,当接收方执行同样计算时(包括Checksum域),结果应该是0。
紧急指针
    参考标志字段的URG位。
选项
    选项部分是为了适合复杂网络环境和更好地服务于应用层设计的。TCP选项最长是40字节。详情见2.2。
数据
    无任何数据的TCP段也是合法的,通常用于确认和控制信息。

2.2 选项字段[2]
    TCP选项部分很好出现在已经建立连接的会话中,只要出现在TCP连接建立阶段,即三次握手。TCP选项部分实际运用有以下几种:
    (1)最大报文传输段(MMS, Maximum Segment Size)
    用于发送发与接收方协商最大报文段长度(仅仅是净荷数据,不包括TCP首部字段)。TCP在三次握手中,每一方都会通告期望收到的MSS(MSS只出现在SYN数据包中),如果一方不接受另一方的MSS值,则使用默认的536字节净荷数据,即主机能够接受20+536字节的TCP报文段。

    (2)窗口扩大选项(Window scaling)
    TCP报文的窗口大小字段占16位,即最大值是65535,但随着时延和带宽比较大的通信产生(如卫星通信),需要更大的窗口满足性能和吞吐率,这就是窗口扩大选项存在的意义。例子见参考资料[2]。
    Windows scaling占3个字节,最后一个字节是移位值(Shift count),即首部的窗口位数16向左移动,如移位值为14,则新的窗口最大值增大到65535*(2^14)。
    窗口扩大选项是在TCP建立之初进行协商,如果已实现了窗口扩大,当不再需要扩大窗口时,发送移位值=0就可以恢复到原窗口大小,即65535。

    (3)选择确认选项(SACK, Selective Acknowledgements)
    考虑这样情况,主机A发送报文段12345,主机B收到135且报文无差错,SACK用来确保只重传缺少的报文段,而不是重传所有报文段。
    SACK选项需要2个功能字节,一个用来指明使用SACK选项(SACK Permission),另一指明这个选项占多少字节。
    那怎么形容丢失的报文段2,说明2的左右边界分别是1、3。TCP的数据报文是有字块边界的,而这种边界是由序列号表示的。
    最多能指明多少个字节块的边界信息呢?答案是4个。这是因为选项字段最大是40字节,去除2个功能字节,序列号是32位即4字节,并且需要左右边界,所以(40-2)/8 = 4。

    (4)时间戳选项(timestamps)
    时间戳选项用来计算往返时间RTT,发送方在发送报文段时把当前时钟的时间值放入时间戳字段,接收方将该时间戳字段的值复制到确认报文中,当接收方收到确认报文,对比确认报文的时间戳(等于发送方发送报文段的时间戳)和现在的时钟,即可算出RTT。
    时间戳选项还可用于防止回绕序号PAWS。序列号只有32位,每2^32个序列号就会回绕(想想环形队列),采用时间戳选项很容易区分相同序列号的报文段。

    (5)NOP(NO-Operation)
    TCP的头部必须是4字节的倍数,而大多数选项不是4字节倍数,不足的用NOP填充。除此之外,NOP也用于分割不同的选项数据,如窗口扩大选项和SACK之间使用NOP隔离(下面的实例将看到这一点)。


三、实例解析
3.1 概述
    还是以访问百度首页为例,首先用DNS协议将URL解析成IP地址,接着在客户机和服务器间建立TCP连接,用Wireshark俘获的分组如下图:


你一看会觉得有些奇怪,理论上应该是3个分组的,怎么有6个分组?先不急,先把这6个报文收发示意图作出来(结合时间和报文含义),如下:

 从图可知,连接建立伊始,客户机发了两个报文段,这也许是为了更快建立连接(假设有个请求报文段丢失,也不至于要等一段时间,重发报文)。接下来,以19、21、22(上图红色线条所示)分析TCP连接建立过程。
3.1 第一次握手19
Wireshark俘获TCP连接第一次握手的报文段如下:

这里主要挑几个字段分析:
    标志字段,SYN=1、ACK=0表示该数据段没有使用捎带的确认域。
    最大报文段长度(MMS)1460是怎么来的,链路层的以太网物理特性决定数据帧长度为1500(即MTU,最大传输单元),1460=1500-20(IP首部长度)-20(TCP首部长度)。不要被该报文首部长度32字节所迷惑,这只是建立连接过程。MSS与MTU关系见下图[2]:




 NOP字段,可以作为不足4倍数字节填充,也可作为选项间分隔,该报文段出现了3个NOP,具体功能见下图:



3.3 第二次握手21
    服务器响应客户端TCP报文段,此时确认号为1了,SYN=1、ACK=1表明连接应答捎带一个确认,Wireshark俘获分组如下:

 为什么MSS是1452而不是1460?这是因为使用PPPoE(Point-to-Point over Ethernet,可以使以太网的主机通过一个简单的桥接设备连到一个无端的接入集中器上[3])拨号上网,PPoP首部是8个字节,所以PPPoE的MTU是1492,MSS也就为1492-40=1452。
    那么,TCP连接建立后数据传输的MSS是多少呢,1460 or 1452 or 536 ?我的理解是默认值536,这样理解对吗?求指点!

3.4 第三次握手22
    客户机再次服务器的报文段,此时序列号和确认号都为1,没有选项字段,Wireshark俘获的分组信息如下:

值得注意的,因为窗口扩展大小协商未果,所以就不扩大窗口了,即窗口大小最大为65535。如此,TCP连接建立:-)
此部分摘录自:《 结合Wireshark捕获分组深入理解TCP/IP协议栈之TCP协议(TCP报文格式+三次握手实例)》
更多关于tcp可参考
  • 《理论经典:TCP协议的3次握手与4次挥手过程详解》
  • 《理论联系实际:Wireshark抓包分析TCP 3次握手、4次挥手过程》。
  • 计算机网络【七】:可靠传输的实现(TCP窗口协议、流量控制、拥塞控制等)
  • [通俗易懂]深入理解TCP协议(上):理论基础
  • [通俗易懂]深入理解TCP协议(下):RTT、滑动窗口、拥塞处理







1 0