请求队列描述符

1.4.4 请求队列描述符

make_request_fn方法属于块设备I/O调度层的内容，要继续往下走，需要介绍一下通用块层的体系架构，这里需要从磁盘和磁盘分区开始说起。磁盘是一个由通用块层处理的逻辑块设备，是块设备驱动中最重要的一个概念。通常一个磁盘对应一个硬件块设备，例如硬盘、软盘或光盘。但是，磁盘也可以是一个虚拟设备，可以建立在几个物理磁盘分区之上或一些RAM专用页中的内存区上。在任何情形中，借助通用块层提供的服务，上层内核组件可以以同样的方式工作在所有的磁盘上。

 

磁盘是由gendisk对象描述的，其中各字段如下所示。

 

struct gendisk {

       int major;                     /* Major磁盘主设备号 */

       int first_minor;    //与磁盘关联的第一个次设备号

       int minors;                 /* 与磁盘关联的次设备号范围 */

       char disk_name[32];             /* 磁盘的标准名称（通常是相应设备文件的规范名称） */

       struct hd_struct **part;     /* 磁盘的分区描述符数组 */

       int part_uevent_suppress;

       struct block_device_operations *fops;  //指向块设备操作表的指针

       struct request_queue *queue;   //指向磁盘请求队列的指针

       void *private_data;             //块设备驱动程序的私有数据

       sector_t capacity;            //磁盘内存区的大小（扇区数目）

 

       int flags;                   //描述磁盘类型的标志

       struct device *driverfs_dev;   //指向磁盘的硬件设备的device对象的指针

       struct kobject kobj;          //内嵌的kobject结构

       struct kobject *holder_dir;

       struct kobject *slave_dir;

 

       struct timer_rand_state *random; //该指针指向的这个数据结构记录磁盘中断的定时；

//由内核内置的随机数发生器使用

       int policy;  //如果磁盘是只读的，则置为1（写操作禁止），否则为0

 

       atomic_t sync_io;          /* 写入磁盘的扇区数计数器，仅为RAID使用 */

       unsigned long stamp;   //统计磁盘队列使用情况的时间戳

       int in_flight;          //正在进行的I/O操作数

#ifdef      CONFIG_SMP

       struct disk_stats *dkstats;

#else

       struct disk_stats dkstats;  //统计每个CPU使用磁盘的情况

#endif

};

 

flags字段存放了关于磁盘的信息。其中最重要的标志是GENHD_FL_UP：如果设置它，那么磁盘将被初始化并可以使用。另一个相关的标志是GENHD_FL_REMOVABLE，如果是诸如软盘或光盘这样可移动的磁盘，那么就要设置该标志。

 

gendisk对象的fops字段指向一个表block_device_operations，该表为块设备的主要操作存放了几个定制的方法：

 

struct block_device_operations {

       int (*open) (struct inode *, struct file *);    //打开块设备文件

       int (*release) (struct inode *, struct file *);   //关闭对块设备文件的最后一个引用

       int (*ioctl) (struct inode *, struct file *, unsigned, unsigned long); 

       long (*unlocked_ioctl) (struct file *, unsigned, unsigned long);

       long (*compat_ioctl) (struct file *, unsigned, unsigned long);

       int (*direct_access) (struct block_device *, sector_t, unsigned long *);

       int (*media_changed) (struct gendisk *);

       int (*revalidate_disk) (struct gendisk *); //检查块设备是否持有有效数据

       int (*getgeo)(struct block_device *, struct hd_geometry *);

       struct module *owner;

};

 

通常硬盘被划分成几个逻辑分区。每个块设备文件要么代表整个磁盘，要么代表磁盘中的某一个分区。例如，一个主设备号为3、次设备号为0的设备文件/dev/hda代表的可能是一个主EIDE磁盘；该磁盘中的前两个分区分别由设备文件/dev/hda1和/dev/hda2代表，它们的主设备号都是3，而次设备号分别为1和2。一般而言，磁盘中的分区是由连续的次设备号来区分的。

 

如果将一个磁盘分成了几个分区，那么其分区表保存在hd_struct结构的数组中，该数组的地址存放在gendisk对象的part字段中。通过磁盘内分区的相对索引对该数组进行索引。hd_struct描述符中的字段如下所示：

 

struct hd_struct {

       sector_t start_sect;  //磁盘中分区的起始扇区

       sector_t nr_sects;   //分区的长度（扇区数）

       struct kobject kobj;  //内嵌的kobject

       struct kobject *holder_dir;

       unsigned ios[2], sectors[2];    /* 对分区发出的读写操作次数和从分区读写的扇区数 */

       int policy, partno;  //磁盘中分区的相对索引

};

 

当内核发现系统中一个新的磁盘时（在启动阶段，或将一个可移动介质插人一个驱动器中时，或在运行期附加一个外置式磁盘时），就调用alloc_disk()函数，该函数分配并初始化一个新的gendisk对象，如果新磁盘被分成了几个分区，那么alloc_disk()还会分配并初始化一个适当的hd_struct类型的数组。然后，内核调用add_disk ()函数将新的gendisk对象插入到通用块层的数据结构中。

 

不管怎样，整个gendisk- hd_struct体系中，最重要的是请求队列结构。请求队列描述符是由一个大的数据结构request_queue表示的，其字段如下表所示：

 

struct request_queue

{

       struct list_head       queue_head; //待处理请求的链表

       struct request         *last_merge; //指向队列中首先可能合并的请求描述符

       elevator_t             *elevator; //指向elevator对象的指针（电梯算法）

 

       struct request_list   rq; //为分配请求描述符所使用的数据结构

 

       request_fn_proc            *request_fn; //实现驱动程序的策略例程入口点的方法，

//策略例程方法来处理请求队列中的下一个请求

       merge_request_fn   *back_merge_fn; //检查是否可能将bio合并到请求队列的最后一个请求中的方法

       merge_request_fn   *front_merge_fn; //检查是否可能将bio合并到队列的第一个请求中的方法

       merge_requests_fn  *merge_requests_fn; //试图合并请求队列中两个相邻请求的方法

       make_request_fn           *make_request_fn; //将一个新请求插入请求队列时调用的方法

       prep_rq_fn            *prep_rq_fn; //该方法把这个处理请求的命令发送给硬件设备

       unplug_fn              *unplug_fn; //去掉块设备的方法

       merge_bvec_fn             *merge_bvec_fn; //当增加一个新段时，

//该方法返回可插人到某个已存在的bio结构中的字节数（通常未定义）

       activity_fn             *activity_fn; //将某个请求加入请求队列时调用的方祛（通常未定义）

       issue_flush_fn        *issue_flush_fn; //刷新请求队列时调用的方法

//（通过连续处理所有的请求清空队列）

       prepare_flush_fn    *prepare_flush_fn;

       softirq_done_fn             *softirq_done_fn;

 

       /*

        * Dispatch queue sorting

        */

       sector_t          end_sector;

       struct request         *boundary_rq;

 

       /*

        * Auto-unplugging state

        */

       struct timer_list      unplug_timer; //插入设备时使用的动态定时器

       int                 unplug_thresh; /* 如果请求队列中待处理请求数大于该值，

将立即去掉请求设备（缺省值是4）*/

       unsigned long        unplug_delay; /* 去掉设备之前的时间延迟（缺省值是3ms）*/

       struct work_struct   unplug_work; //去掉设备时使用的操作队列

 

       struct backing_dev_info backing_dev_info;

 

       void               *queuedata; //指向块设备驱动程序的私有数据的指针

 

       void               *activity_data; //activity_fn方法使用的私有数据

 

       unsigned long        bounce_pfn; //在大于该页框号时必须使用缓冲区回弹

       gfp_t                     bounce_gfp; //回弹缓冲区的内存分配标志

 

       unsigned long        queue_flags; //描述请求队列状态的标志

 

       spinlock_t              __queue_lock; //请求队列锁

       spinlock_t              *queue_lock; //指向请求队列锁的指针

 

       struct kobject kobj; //请求队列的内嵌kobject结构

 

       unsigned long        nr_requests;    /* 请求队列中允许的最大请求数s */

       unsigned int           nr_congestion_on; //如果待处理请求数超出了该闭值，

//则认为该队列是拥挤的

       unsigned int           nr_congestion_off;//如果待处理请求数在这个闭值的范围内，

//则认为该队列是不拥挤的

       unsigned int           nr_batching; //即使队列已满，

//仍可以由特殊进程“batcher”提交的待处理请求的最大值（通常为32）

 

       unsigned int           max_sectors; //单个请求所能处理的最大扇区数（可调的）

       unsigned int           max_hw_sectors; //单个请求所能处理的最大扇区数（硬约束）

       unsigned short        max_phys_segments; //单个请求所能处理的最大物理段数

       unsigned short        max_hw_segments; //单个请求所能处理的最大硬段数（分散－聚集DMA操作中的最大不同内存区数）

       unsigned short        hardsect_size; //扇区中以字节为单位的大小

       unsigned int           max_segment_size; //物理段的最大长度（以字节为单位）

 

       unsigned long        seg_boundary_mask; //段合并的内存边界屏蔽字

       unsigned int           dma_alignment; //DMA缓冲区的起始地址和长度的对齐位图（缺省值是511)

 

       struct blk_queue_tag      *queue_tags; //空闲/忙标记的位图（用于带标记的请求）blk_queue_tag *

 

       unsigned int           nr_sorted; //请求队列的引用计数器

       unsigned int           in_flight; //请求队列中待处理请求数

 

       unsigned int           sg_timeout; //用户定义的命令超时（仅由SCSI通用块设备使用）

       unsigned int           sg_reserved_size; //基本上没有使用

       int                 node;

 

       struct blk_trace      *blk_trace;

 

       unsigned int           ordered, next_ordered, ordseq;

       int                 orderr, ordcolor;

       struct request         pre_flush_rq, bar_rq, post_flush_rq;

       struct request         *orig_bar_rq;

       unsigned int           bi_size;

 

       struct mutex           sysfs_lock;

};

 

请求队列是一个双向链表，其元素就是请求描述符（也就是request数据结构，下面马上谈到）。请求队列描述符中的queue_head字段存放链表的头（第一个伪元素），而请求描述符中queuelist字段的指针把任一请求链接到链表的前一个和后一个元素之间。

 

队列链表中元素的排序方式对每个块设备驱动程序是特定的；然而，I/O调度程序提供了几种预先确定好的元素排序方式，牵涉到“I/O调度算法”的概念，后面会提到。

 

backing_dev_info字段是一个backing_dev_info类型的小对象，它存放了关于基本的硬件块设备的I/O数据流量的信息。例如，它保存了关于预读以及关于请求队列拥塞状态的信息。

 

每个块设备的待处理请求都是用一个请求描述符来表示的，请求描述符存放在如下所示的request数据结构中：

 

struct request {

       struct list_head queuelist;   /* 请求队列链表的指针 */

       struct list_head donelist;

 

       unsigned long flags;              /* 请求标志 */

 

       sector_t sector;                  /*要传送的下一个扇区号 */

       unsigned long nr_sectors;      /* 整个请求中要传送的扇区数 */

       /* no. of sectors left to submit in the current segment */

       unsigned int current_nr_sectors;  //当前bio的当前段中要传送的扇区数

 

       sector_t hard_sector;                 /* 要传送的下一个扇区号 */

       unsigned long hard_nr_sectors;     /* 整个请求中要传送的扇区数（由通用块层更新）*/

       /* no. of sectors left to complete in the current segment */

       unsigned int hard_cur_sectors; //当前bio的当前段中要传送的扇区数（由通用块层更新）

 

       struct bio *bio;         //请求中第一个没有完成传送操作的bio

       struct bio *biotail;      //请求链表中末尾的bio

 

       void *elevator_private;  //指向I/O调度程序私有数据的指针

       void *completion_data; 

 

       int rq_status;   /* 请求状态：实际上，或者是RQ_ACTIVE，或者是RQ_INACTIVE */

       int errors;   //用于记录当前传送中发生的I/O失败次数的计数器

       struct gendisk *rq_disk;  //请求所引用的磁盘描述符

       unsigned long start_time; //请求的起始时间（用jiffies表示）

 

       unsigned short nr_phys_segments; //请求的物理段数

 

       unsigned short nr_hw_segments; //请求的硬段数

 

       unsigned short ioprio;

 

       int tag; //与请求相关的标记（只适合支持多次数据传送的硬件设备）

 

       int ref_count; //请求的引用计数器

       request_queue_t *q; //指向包含请求的请求队列描述符的指针

       struct request_list *rl; //指向request_list结构的指针

 

       struct completion *waiting; //等待数据传送终止的Completion结构

       void *special; //对硬件设备发出“特殊”命令的请求所使用的数据的指针

       char *buffer; //指向当前数据传送的内存缓冲区的指针（如果缓冲区是高端内存区，则为NULL）

 

       unsigned int cmd_len; //cmd字段中命令的长度

       unsigned char cmd[BLK_MAX_CDB]; //由请求队列的prep_rq_fn方法准备好的预先内置命令所在的缓冲区后面还会详细谈到

 

       unsigned int data_len; //通常，由data字段指向的缓冲区中数据的长度

       unsigned int sense_len; //由sense字段指向的缓冲区的长度（如果sense是NULL，则为0)

       void *data; //设备驱动程序为了跟踪所传送的数据而使用的指针

       void *sense; //指向输出sense命令的缓冲区的指针

 

       unsigned int timeout; //请求的超时

       int retries;

 

       rq_end_io_fn *end_io;

       void *end_io_data;

};

 

每个request请求包含一个或多个bio结构。最初，通用块层创建一个仅包含一个bio结构的请求。然后，I/O调度程序要么向初始的bio中增加一个新段，要么将另一个bio结构链接到请求中，从而“扩展”该请求，原因是可能存在新数据与请求中已存在的数据物理相邻的情况。请求描述符的bio字段指向请求中的第一个bio结构，而biotail字段则指向最后一个bio结构。rq_for_each_bio宏执行一个循环，从而遍历一个请求（而不是请求队列）中的所有bio结构。

 

请求描述符中的几个字段值可能是动态变化的。例如，一旦bio中引用的数据块全部传送完毕，bio字段立即更新从而指向请求链表中的下一个bio。在此期间，另一个新的bio可能被加人到请求链表的尾部，所以biotail的值也可能改变。

 

当磁盘数据块正在传送时，请求描述符的其它几个字段的值由I/O调度程序或设备驱动程序修改。例如，nr_sectors存放整个请求还需传送的扇区数，current_nr_sectors存放当前bio结构中还需传送的扇区数。

 

flags中存放了很多标志，如下表中所示。到目前为止，最重要的一个标志是REQ_RW，它确定数据传送的方向。

 

REQ_RW       数据传送的方向：READ（0）或WRITE（1）

REQ_FAILFAST    万一出错请求申明不再重试I/O操作

REQ_SOFTBARRIER   请求相当于I/O调度程序的屏障

REQ_HARDBARRIER  请求相当于1/O调度程序和设备驱动程序的屏障—应当在旧请求与新请求之间处理该请求

REQ_CMD     包含一个标准的读或写I/O数据传送的请求

REQ_NOMERGE  不允许扩展或与其它请求合并的请求

REQ_STARTED    正处理的请求

REQ_DONTPREP 不调用请求队列中的prep_rq_fn方法预先准备把命令发选项发给硬件设备

REQ_QUEUED     请求被标记——也就是说，与该请求相关的硬件设备可以同时管理很多未完成数据的传送

REQ_PC 请求包含发送给硬件设备的直接命令

REQ_BLOCK_PC  与前一个标志功能相同，但发送的命令包含在bio结构中

REQ_SENSE 请求包含一个“sense”请求命令（SCSI和ATAPI设备使用）

REQ_FAILED       当请求中的sense或direct命令的操作与预期的不一致时设置该标志

REQ_QUIET  万一I/O操作出错请求申明不产生内核消息

REQ_SPECIAL     请求包含对硬件设备的特殊命令（例如，重设驱动器）

REQ_DRIVE_CMD      请求包含对IDE磁盘的特殊命令

REQ_DRIVE_TASK     请求包含对IDE磁盘的特殊命令

REQ_DRIVE_TASKFILE     请求包含对IDE磁盘的特殊命令

REQ_PREEMPT    请求取代位于请求队列前面的请求（仅对IDE磁盘而言）

REQ_PM_SUSPEND    请求包含一个挂起硬件设备的电源管理命令

REQ_PM_RESUME     请求包含一个唤醒硬件设备的电源管理命令

REQ_PM_SHUTDOWN       请求包含一个切断硬件设备的电源管理命令

REQ_BAR_PREFLUSH       请求包含一个要发送给磁盘控制器的“刷新队列”命令

REQ_BAR_POSTFLUSH     请求包含一个已发送给磁盘控制器的“刷新队列”命令

 

介绍完了这些来自ULK-3上的基础知识，我们通过一个图把前面的知识串联起来：

前面提到generic_make_request调用q->make_request_fn方法将bio请求插入请求队列q中。那么接下来的工作就交给I/O调度层了。