NVME Driver解析之init与probe

本文说使用的代码版本是Linux3.16.3

代码位置drivers\block\nvme-core.c  include/linux/nvme.h

NVMe driver的init过程

nvme的初始化过程主要跟两个函数有关，一个是nvme_init，另一个还nvme_probe，本文主要讲一下nvme_init和nvme_probe分别做了什么以及如何从nvme_init进入到nvme_probe。

一：nvme_init函数

以上是nvme_init函数的流程图

①init_waitqueue_head(&nvme_kthread_wait);

该函数的主要作用创建了一个等待队列，这个等待队列的主要作用是防止多个Control（dev）同时创建多个nvme_kthread，保证在系统存在多个controller的情况下，只创建一个nvme_kthread。这部分的功能在nvme_dev_start中会有体现，后面会讲到。

②nvme_workq = create_singlethread_workqueue("nvme");

创建一个工作队列，该工作队列主要是为reset服务的，在nvme_dev_start函数中我们可以看到该工作队列的的工作添加的工作项是nvme_reset_workfn。

③ register_hotcpu_notifier(&nvme_nb);

为cpu的热插拔所注册的notifier，当某个cpu被热插拔重新加入或离开系统调度后，nvme会对其绑定的IO队列进行相应的处理。（在nvme driver中，IO queue是绑定到cpu上的，每个cpu所对应的IO queue号是固定的，该CPU所对应的IO请求必须送到它对应的IO queue上，关于CPU和IO queue的绑定，在nvme_assign_io_queues中实现）。

由于nvme是一个挂在PCIE总线上的block设备，所以nvme_init函数需要注册一个块设备，并且注册一个PCI的设备驱动。

注册一个块设备：

④register_blkdev(nvme_major,"nvme");

这里面nvme_major = 0，所以Kernel会自动给该块设备分配一个主设备号。设备的name就是"nvme"

注册一个PCI的设备驱动

⑤pci_register_driver(&nvme_driver)

将要注册的nvme_driver，pci_register_driver将会调用下面的一系列函数，对devier和device进行match，并将device和driver绑定，最终通过一个回调函数调用到nvme driver的nvme_probe函数

二：从nvme_init到nvme_probe

从nvme_init到nvme_probe是通过pci_register_driver实现的。

pci_register_driver(&nvme_driver)//

    ↓

driver_register(&drv->driver)

    ↓

driver_find(drv->name, drv->bus) //locate driver on a bus by its name

bus_add_driver(drv) //Add a driver to the bus

    ↓

driver_attach(drv) //try to bind driver to devices

    ↓

bus_for_each_dev(drv->bus, NULL, drv, __driver_attach)//遍历bus上所挂接的所有设备

while ((dev = next_device(&i)) && !error)

error = fn(dev, data); // __driver_attach 是一个回调函数

__driver_attach (struct device *dev, void *data)

if (!dev->driver)

driver_probe_device(drv, dev);

    ↓ 

really_probe(dev, drv);//

drv->probe(dev);    //这里就是调用的nvme_driver的nvme_probe函数

三：nvme_probe函数

①dev = kzalloc(sizeof(*dev), GFP_KERNEL);//声明并开辟nvme 的device，每一个nvme device都是一个PCI的设备

②dev->entry = kcalloc(num_possible_cpus(), sizeof(*dev->entry),   GFP_KERNEL); //根据cpu的个数开辟entry的空间，有多少个cpu就开辟多少个entry

③dev->queues = kcalloc(num_possible_cpus() + 1, sizeof(void *),  GFP_KERNEL);//开辟的queue的个数是CPU个数+1，+1是Admin queue

④dev->io_queue = alloc_percpu(unsigned short); //io_queue是一个percpu的变量

⑤ INIT_LIST_HEAD(&dev->namespaces); //初始化namespaces链表，该链表串接了一个control上的所有的namespaces

⑥ dev->reset_workfn = nvme_reset_failed_dev; //

 INIT_WORK(&dev->reset_work, nvme_reset_workfn);//将nvme_reset_work添加到reset_work的工作队列中

 ⑦INIT_WORK(&dev->cpu_work, nvme_cpu_workfn); //将nvme_rcpu_work添加到cpu_work的工作队列中，cpuwork的主要工作就是在cpu hotplug之后对cpu和ioqueue进行重新的分配 

⑧ dev->pci_dev = pdev; //

 pci_set_drvdata(pdev, dev);

 result = nvme_set_instance(dev);//设置一个nvme的实例，分配内存资源，并分配了一个nvme_instance_ida，就是给nvme分配了一个ID

⑨nvme_setup_prp_pools(dev) //通过dma_pool_create给PRP分配空间，分配了两种PRP，一种是PAGESIZE的PRP，另一种是比较小的256的PRP，后者应用于I/Os between 4k and 128k 

⑩kref_init(&dev->kref);//initialize object，计数器 +1

⑪nvme_dev_start(dev);//这个函数是一个实现的功能比较多，包括dev的映射，配置Admin queue和开辟I Oqueue空间以及IOqueue与cpu的绑定等

⑫nvme_dev_add(dev);//这个函数会读取controller的identifier和namespace identififer，并配置namespace disk，最终通过alloc disk和 add disk 将namespace添加到内核中