Linux 网卡驱动-1

参考：1. 深入理解Linux网络技术内幕 PartIII

　　　2. Essential Linux Device Driver Chap15

　　   3. Linux 内核源码剖析——TCP/IP 实现

          5. rtl8139too.c 2010.4 修订

          6. Linux 内核 2.6.33

          7. google

当你在写一个网卡驱动的时候回接触到3个重要的数据结构：

1. struct sk_buff    sk_buff 结构贯穿整个协议栈

2. struct net_device 该结构定义了网卡驱动和协议栈之间的接口

3. I/O 总线相关的结构，比如 struct pci_dev

　　在内核中sk_buff表示一个网络数据包，它是一个双向链表，而链表头就是sk_buff_head,在老的内核里面sk_buff会有一个list域直接指向sk_buff_head也就是链表头，现在在2.6.33里面这个域已经被删除了。而sk_buff的内存布局可以分作3个段，第一个就是sk_buff自身，第二个是linear-data buff,第三个是paged-data buff（也就是skb_shared_info）。

　　每个SKB必须能被整个链表头部快速找到。为了满足这个需求，在第一个SKB节点前面会插入另一个辅助的sk_buff_head结构的头结点，可以认为该sk_buff_head结构就是SKB链表的头结点。

struct sk_buff_head {/* These two members must be first. */struct sk_buff *next;struct sk_buff *prev; __u32 qlen;spinlock_t lock;};

下图是SKB链表：

下面来看一下sk_buff 结构：

struct sk_buff {/* These two members must be first. */struct sk_buff *next;struct sk_buff *prev;//表示从属于那个socket，主要是被4层用到。struct sock *sk;//表示这个skb被接收的时间。ktime_t tstamp;//这个表示一个网络设备，当skb为输出时它表示skb将要输出的设备，当接收时，它表示输入设备。要注意，这个设备有可能会是虚拟设备(在3层以上看来)struct net_device *dev;///这里其实应该是dst_entry类型，不知道为什么内核要改为ul。这个域主要用于路由子系统。这个数据结构保存了一些路由相关信息unsigned long _skb_dst;#ifdef CONFIG_XFRMstruct sec_path *sp;#endif///这个域很重要，我们下面会详细说明。这里只需要知道这个域是保存每层的控制信息的就够了。char cb[48];///这个长度表示当前的skb中的数据的长度，这个长度即包括buf中的数据也包括切片的数据，也就是保存在skb_shared_info中的数据。这个值是会随着从一层到另一层而改变的。下面我们会对比这几个长度的。unsigned int len,///这个长度只表示切片数据的长度，也就是skb_shared_info中的长度。data_len;///这个长度表示mac头的长度(2层的头的长度)__u16 mac_len,///这个主要用于clone的时候，它表示clone的skb的头的长度。hdr_len;///接下来是校验相关的域。union {__wsum csum;struct {__u16 csum_start;__u16 csum_offset;};};///优先级，主要用于QOS。__u32 priority;kmemcheck_bitfield_begin(flags1);///接下来是一些标志位。//首先是是否可以本地切片的标志。__u8 local_df:1,///为1说明头可能被clone。cloned:1,///这个表示校验相关的一个标记,表示硬件驱动是否为我们已经进行了校验(前面的blog有介绍)ip_summed:2,///这个域如果为1,则说明这个skb的头域指针已经分配完毕，因此这个时候计算头的长度只需要head和data的差就可以了。nohdr:1,///这个域不太理解什么意思。nfctinfo:3;///pkt_type主要是表示数据包的类型，比如多播，单播，回环等等。__u8 pkt_type:3,///这个域是一个clone标记。主要是在fast clone中被设置，我们后面讲到fast clone时会详细介绍这个域。fclone:2,///ipvs拥有的域。ipvs_property:1,///这个域应该是udp使用的一个域。表示只是查看数据。peeked:1,///netfilter使用的域。是一个trace 标记nf_trace:1;///这个表示L3层的协议。比如IP,IPV6等等。__be16 protocol:16;kmemcheck_bitfield_end(flags1);///skb的析构函数，一般都是设置为sock_rfree或者sock_wfree.void (*destructor)(struct sk_buff *skb);///netfilter相关的域。#if defined(CONFIG_NF_CONNTRACK) || defined(CONFIG_NF_CONNTRACK_MODULE)struct nf_conntrack *nfct;struct sk_buff *nfct_reasm;#endif#ifdef CONFIG_BRIDGE_NETFILTERstruct nf_bridge_info *nf_bridge;#endif///接收设备的index。int iif;///流量控制的相关域。#ifdef CONFIG_NET_SCHED__u16 tc_index; /* traffic control index */#ifdef CONFIG_NET_CLS_ACT__u16 tc_verd; /* traffic control verdict */#endif#endifkmemcheck_bitfield_begin(flags2);///多队列设备的映射，也就是说映射到那个队列。__u16 queue_mapping:16;#ifdef CONFIG_IPV6_NDISC_NODETYPE__u8 ndisc_nodetype:2;#endifkmemcheck_bitfield_end(flags2);/* 0/14 bit hole */#ifdef CONFIG_NET_DMAdma_cookie_t dma_cookie;#endif#ifdef CONFIG_NETWORK_SECMARK__u32 secmark;#endif///skb的标记。__u32 mark;///vlan的控制tag。__u16 vlan_tci;///传输层的头sk_buff_data_t transport_header;///网络层的头sk_buff_data_t network_header;///链路层的头。sk_buff_data_t mac_header;///接下来就是几个操作skb数据的指针。下面会详细介绍。sk_buff_data_t tail;sk_buff_data_t end;unsigned char *head,*data;///这个表示整个skb的大小，包括skb本身，以及数据。unsigned int truesize;///skb的引用计数atomic_t users;};

sk_buff 为Linux网络层提供了高效的缓冲和流控机制。sk_buff内部包含了缓冲区中报文的信息，这些数据域，主要是下面几个：

sk_buff->head   sk_buff->data    sk_buff->tail      sk_buff->end

struct  sk_buff 的成员 head 指向一个已分配的空间的头部，该空间用于承载网络数据，end 指向该空间的尾部，这两个成员指针从空间创建之后，就不能被修改。data 指向分配空间中数据的头部，tail 指向数据的尾部，这两个值随着网络数据在各层之间的传递、修改，会被不断改动。所以，这四个指针指向共同的一块内存区域的不同位置，该内存区域由__alloc_skb 在创建缓冲区时创建。注意：这些都是char * 类型的指针，指向特定的内存块。

下面这张图表示了buffer从tcp层到链路层的过程中len，head，data，tail以及end的变化，通过这个图我们可以非常清晰的了解到这几个域的区别。

可以很清楚的看到head指针为分配的buffer的起始位置，end为结束位置，而data为当前数据的起始位置，tail为当前数据的结束位置。len就是数据区的长度。

然后来看transport_header，network_header以及mac_header的变化，这几个指针都是随着数据包到达不同的层次才会有对应的值，我们来看下面的图，这个图表示了当从2层到达3层对应的指针的变化。

这里可以看到data指针会由于数据包到了三层，而跳过2层的头。这里我们就可以得到data起始真正指的是本层的头以及数据的起始位置。

sk_buff 结构中有三个跟长度相关的量：len 、data_len 、truesize

其中len 是指数据包全部数据的长度，包括 data 指向的数据和 end 后面的分片的数据的总长，而 data_len

只包括分片的数据的长度。而 truesize 的最终值是 len+sizeof(struct sk_buff)。

data 这个指针指向的位置是可变的，它有可能随着报文所处的层次而变动。当接收报文时，从网卡驱动开始，通过协议栈层层往上传送数据报，通过增加 skb->data 的值，来逐步剥离协议首部；而要发送报文时，各协议创建 sk_buff{}，在经过各下层协议时，通过减少 skb->data的值来增加协议首部。

我们来看前面没有解释的那些域。

我们知道tcp层的控制信息保存在tcp_skb_cb中，因此来看内核提供的宏来存取这个数据结构：

#define TCP_SKB_CB(__skb)  ((struct tcp_skb_cb *)&((__skb)->cb[0]))

在ip层的话，我们可能会用cb来存取切片好的帧。

#define FRAG_CB(skb) ((struct ipfrag_skb_cb *)((skb)->cb))