从 CPU 向 PCIe 地址 space 写入一个字节的精确细节

Precise details of writing a byte into PCIe address space from CPU

我对让 CPU 将值写入 PCIe 卡内存所涉及的 确切 系列步骤感到非常困惑。很难理解您在 Internet 上阅读的内容的 精确 含义,因此我希望有人可以阅读我对发生的事情的理论并指出任何错误。

设置

假设我有一张带有一些内存的 PCIe 卡。为了便于讨论,假设以下具体设置:

我们也来解决术语问题:

我对正在发生的事情的理论

  1. 在启动时,Linux 开始探测不同的地址以查看那里是否有任何内容。

    • 由于 PCIe 总线仅通过桥接器连接到系统总线(即系统总线上的 PCIe 控制器)Linux 必须知道如何与 PCIe 控制器交互。
    • Linux 向 PCIe 控制器发送特殊命令(通过 memory-mapped IO?)最终在 PCIe 线上触发正确的电压系列
    • 如果它得到响应,它将在配置 space
    • 中使用其他信息填充一个 pci_dev 结构
    • 在将来的某个时候(什么时候?)内核将遍历 PCI driver 列表以尝试将它们与设备
    • 匹配
  2. 当Linux 检测到设备时,它会将其BAR space 映射到系统总线。 (这是怎么做到的?)假设它将 BAR0 space 映射到系统总线上的地址 0x555000000x5550FFFF
    • Linux 必须告诉根联合体听取这些地址,并且它们对应于它检测到的 PCIe 卡。
    • 顺便说一下,Linux 会将我们的 PCIe 卡上的基地址寄存器 0 设置为在其基地址字段中包含 0x55500000(何必呢?)
  3. 0x555000000x5550FFFF 之间的系统总线上的后续写入由根复合体 "caught" 发送到 PCIe 卡
    • root complex 基本上会构建一个数据包,其中包含所有 headers 和校验和等,并通过主板的铜线将它们发送到 PCIe 插槽
  4. 假设 CPU 将 0xDEADBEEF 写入系统总线上的地址 0x55501230,并且根联合体将数据包发送到 PCIe 卡,卡接收数据包并将 0xDEADBEEF 写入其本地 4 MB 内存中的 0x01230

那么:这其中哪些部分是对的,哪些部分是错误的?

我的经验是使用英特尔处理器,因此下面的一些细节可能特定于英特尔处理器,但大部分都是通用的。我也不知道 Linux 如何识别每个设备加载的驱动程序的细节,所以我跳过了这个问题。

现代 CPU 没有 系统总线 (除了隐藏在 CPU 本身)。它们具有内存通道、PCIe 根端口和连接到芯片组的 DMI 端口(也称为外围控制器集线器或 PCH)。 PCH 包含额外的设备并且可能有额外的根端口。根复合体包括集成到 CPU 和 PCH 中的电路。 (一些 CPU SoC 没有 DMI 或 PCH,所有根复合体电路都在 CPU SoC 中。)

即使您的卡是整个系统中唯一的 PCIe 卡,还有其他 PCIe 设备集成到根复合体中(称为 RCIEP 或根复合体集成端点)。这些可能在 CPU 或 PCH 中。

连接到 PCIe 根端口的设备将被配置为某个非零总线编号上的设备 0。总线编号取决于设备连接到的 PCIe 根端口(即插槽)以及 BIOS 配置 PCIe 总线的方式。 (同一个插槽通常会有相同的总线号,但也可能不同,这取决于连接到其他 PCIe 根端口的是什么。)

您的其他假设和术语都很好。

软件访问 PCI 配置 space 通过对 I/O 端口 0xcf8 和 0xcfc 使用 in/out 指令,或使用内存映射配置 space。 PCI configspace的内存地址范围由BIOS设置。软件通过查看 ACPI 表找出地址。将这些 I/O 或内存访问转换为 PCIe 信号的机制完全在根复合体硬件中。

PCI 配置 space 地址范围内的偏移量控制 device/register 软件正在访问哪个。例如,访问 MMCFG + 0 会访问设备 0:0.0 的寄存器偏移量 0。访问 MMCFG + 0x1000 访问设备 0:0.1 的寄存器偏移量 0,访问 MMCFG + 0x102000 访问设备 1:0.2.

的寄存器偏移量 0

软件读取每个设备地址偏移 3:0 处的供应商 id/device id 寄存器,以检测该设备地址是否存在设备。如果不存在任何设备,则 PCI 控制器 returns 0xffffffff。如果存在设备,则设备 returns 供应商 ID 和设备 ID,允许软件确定设备的类型。

每个设备都有 6 个 BAR 寄存器,偏移量为 0x10、0x14、... 0x24。如果设备支持 64 位 BAR,则两个相邻的 BAR 寄存器用于配置单个区域。通常,BIOS 会配置每个设备的 BAR,还会配置根复合体中的其他(隐藏)寄存器,以使其能够将内存访问路由到正确的设备。软件通常只写入 BAR 寄存器以检测区域大小,然后恢复由 BIOS 设置的值。 根据根联合体硬件,软件可能会或可能不会更改 BAR 值并且仍然可以正常访问。