浅析PCI配置空间

在PCIe的拓扑结构中，最多支持256个Bus, 每条Bus最多支持32个Device，每个Device最多支持8个Function，所以，由Bus:Device:Function(BDF)构成了每个Function的唯一的"身份证号". 如下图，一个简单的PCIe拓扑结构中BDF分布：

那么，这么多的Function，Host怎么知道他们具有什么本领？答案是，每个Function都有一个大小为4KB的configuration space。在系统上电的过程中，在枚举整个PCI Bus之后，就会将所有的BDF的configuration space读到Host内存中。在Host内存中有一个大小256MB的Memory Block, 专门用来存放所有的configuration space. 

为什么是256MB？我们计算一下：256(Bus)*32(Dev)*8(Func)*4KB=64*1024*4KB=256MB.

其中，Host Bridge对应的是256MB Memory Block的起始地址，其他Bridge、Dev按照顺序往后排序。

那么， 问题又来了，每个Function对应的4KB configuration space长什么样子呢？如何解析？看下图：

从上图的4KB configuration space可以看到，主要有3部分构成：

• Byte 0~63: 这64B代表的是PCI配置Header;
  

• Byte 64~255: 这192B代表的是PCI Capability Structures，这部分会记录对应Function所具备的技能；

• Byte 256~4095: 这3840B代表是PCIe扩展配置空间。

注：本文我们重点提一下前0~255B的内容，PCIe扩展空间不再展开阐述。

PCI配置Header具有固定的格式，主要有两种：Type0和Type1。Type0主要用于获取Endpoint的Configuration Space。Type1主要用于获取Switch或者Bridge的Configuration Space.

想要更进一步了解PCIe Endpoint或者Bridge所具备的技能(Capability)，怎么办？方法如下：

(1) 检查PCI Header中Byte6 Bit[4] Capabilities List Bit是否置起来；

(2) 结合PCI Header的Byte[34] Capability Pointer寻址；

在每一个Capability Structure offset byte0代表这个Capability ID，offset byte1则指向下一个Capability Structure, 依次寻址，直至Capability Pointer=0. 如下图：

在PCI/PCIe系统中，总共定义了17种Capability ID(如下图)，其实，在我们平时使用NVMe SSD过程中，主要关注4个就可以了：01,05,10,11.

Capability ID=01, Power Management Capability Structure定义如下：

Capability ID=05, MSI Capability Structure定义如下：

在PCIe总线中，MSI中断机制使用Memory Write TLP向处理提交中断请求。PCIe设备提交MSI中断请求时，需要向MSI Capability结构中的Message Address的地址写入Message Data数据。根据Address的长度(32位或者64位)以及是否Mask中断向量，MSI Capability结构分为四类如下图：

Capability ID=10, PCIe Capability Structure定义如下：

Capability ID=11, MSI-X Capability Structure定义如下:

MSI-X与MSI的机制基本相同，不过，MSI中断机制最多支持32个中断请求，并且要求中断向量连续。而MSI-X中断机制可以支持2048个中断请求，并且不要求中断向量连续。与MSI Capability寄存器相比，MSI-X Capability寄存器使用了一个数组存放Message Address字段和Message Data字段，而不是将这两个字段放入Capability寄存器中，这个数组称为MSI-X Table。所以，MSI-X Capability寄存器比MSI Capability寄存器要小，具体格式如下图，

了解了上面这些概念之后，在Linux系统下用lspci -xx/-xxx/-xxxx命令获取Configuration Space之后，我们就可以直接解析了. 在这里，请不要告诉我lspci -vvv命令可以直接读到Configuration Space解析之后的内容。我只想静静地自娱自乐！

(1) 先通过lspci命令读到Endpoint NVMe SSD对应的4KB configuration space前256B的内容(如下图)。其中，PCI Configuration Header Space采用Type 0。

注：Byte0~3代表了Device ID和Vendor ID，为了避免争议，我用AA，BB，CC , DD取代了原本内容。

(2) 根据前面介绍的定义，开始解析这个256B的内容：

声明：文中采用的图片中，一部分来自Mindshare和PCIe 3.0 Spec！

精彩推荐:

• 步入新时代 | PCIe 4.0带来了哪些惊喜？

• PCIe SSD飞入寻常百姓家靠什么？
  

• SCM+MLC/TLC NAND混合SSD性能探究
  

• 浅析企业级SSD Multi-Stream Write技术
  

• 企业级SSD发展趋势
  

• 2D NAND和3D NAND横向对比
  

• 第二代3D TLC NAND原厂级深度评测

• 为QLC保驾护航 | 慧荣科技亮出最新LDPC技术

• SSD固态硬盘接口种类多，你了解多少？
  

• 写放大机制与影响因素详解

• 详解SSD之垃圾回收GC

• SSD为什么需要Trim？
  

• OP详解: 谁“偷”走了SSD的容量？

• SSD性能优化之4K对齐

• 文件系统全记录回顾
  

• 快来看，SATA秘籍惊现江湖！！！

• PCIe最全科普贴流出！不说了，赶快Mark！

• 独家发布 | Linux NVMe Driver学习笔记大合集
  

• 存储随笔《NVMe专题》大合集及PDF版正式发布！

更多精彩内容，敬请关注头条号【存储随笔】获取更多活动内容。

同时，也可以关注微信公众号: 存储随笔，Memory-logger.