运行多 GPU CUDA 示例（simpleP2P）时 P2P 内存访问失败

Question

我正在尝试解决我在运行简单的 P2P 示例程序（包含在 CUDA 示例中）时发现的错误。错误如下：

$ ./simpleP2P 
[./simpleP2P] - Starting...
Checking for multiple GPUs...
CUDA-capable device count: 2
> GPU0 = "     Tesla K20c" IS  capable of Peer-to-Peer (P2P)
> GPU1 = "     Tesla K20c" IS  capable of Peer-to-Peer (P2P)

Checking GPU(s) for support of peer to peer memory access...
> Peer-to-Peer (P2P) access from Tesla K20c (GPU0) -> Tesla K20c (GPU1) : No
> Peer-to-Peer (P2P) access from Tesla K20c (GPU1) -> Tesla K20c (GPU0) : No
Two or more GPUs with SM 2.0 or higher capability are required for ./simpleP2P.
Peer to Peer access is not available between GPU0 <-> GPU1, waiving test.

我使用的设备如下：

$ lspci | grep NVIDIA
03:00.0 3D controller: NVIDIA Corporation GK110GL [Tesla K20c] (rev a1)
83:00.0 3D controller: NVIDIA Corporation GK110GL [Tesla K20c] (rev a1)

从 nvidia-smi 获得的有关连接的其他信息：

$ nvidia-smi topo -m
    GPU0    GPU1    CPU Affinity
GPU0     X  SOC 0-5,12-17
GPU1    SOC  X  6-11,18-23

Legend:

  X   = Self
  SOC = Path traverses a socket-level link (e.g. QPI)
  PHB = Path traverses a PCIe host bridge
  PXB = Path traverses multiple PCIe internal switches
  PIX = Path traverses a PCIe internal switch

lspci 工具最终输出了更详细的信息。

03:00.0 3D controller: NVIDIA Corporation GK110GL [Tesla K20c] (rev a1)
        Subsystem: NVIDIA Corporation Device 0982
        Flags: bus master, fast devsel, latency 0, IRQ 11
        Memory at f9000000 (32-bit, non-prefetchable)
        Memory at d0000000 (64-bit, prefetchable)
        Memory at ce000000 (64-bit, prefetchable)
        Capabilities: <access denied>
        Kernel driver in use: nvidia
        Kernel modules: nvidia_346, nouveau, nvidiafb
...
83:00.0 3D controller: NVIDIA Corporation GK110GL [Tesla K20c] (rev a1)
        Subsystem: NVIDIA Corporation Device 0982
        Flags: bus master, fast devsel, latency 0, IRQ 11
        Memory at cc000000 (32-bit, non-prefetchable)
        Memory at b0000000 (64-bit, prefetchable)
        Memory at ae000000 (64-bit, prefetchable)
        Capabilities: <access denied>
        Kernel driver in use: nvidia
        Kernel modules: nvidia_346, nouveau, nvidiafb

你们中的任何人有一些信息可以帮助我进行故障排除或至少更好地了解问题出在哪里吗？一如既往地感谢 reading/helping。 -- 奥马尔

Answer 1

当 GPU 通过插槽级别 link（基于 Intel 的系统的 QPI）互连时：

GPU0     X  SOC 0-5,12-17
GPU1    SOC  X  6-11,18-23
        ^^^

那么 P2P 交易在这 2 个 GPU 之间是不可能的。

参与 P2P 的 GPU 有许多要求。其中之一是它们通常必须在同一个 PCIE 根复合体上。通过插槽级别 link（例如 QPI）连接的 GPU 在两个不同的 "sockets" 上，即 2 个不同的 CPU，因此它们属于两个不同的 PCIE 根复合体。

请注意，一般来说，P2P 支持可能因 GPU 或 GPU 系列而异。在一种 GPU 类型或 GPU 系列上运行 P2P 的能力并不一定表明它可以在另一种 GPU 类型或系列上工作，即使在相同的 system/setup 中也是如此。 GPU P2P 支持的最终决定因素是通过 cudaDeviceCanAccessPeer 查询运行时间的工具。 P2P 支持也可能因系统和其他因素而异。此处的任何声明均不能保证在任何特定设置中对任何特定 GPU 的 P2P 支持。

运行多 GPU CUDA 示例（simpleP2P）时 P2P 内存访问失败

P2P memory access fail while running multi-GPU CUDA sample (simpleP2P)

p2p

cuda

nvidia

multi-gpu

运行 多 GPU CUDA 示例（simpleP2P）时 P2P 内存访问失败

P2P memory access fail while running multi-GPU CUDA sample (simpleP2P)

p2p

cuda

nvidia

multi-gpu

运行多 GPU CUDA 示例（simpleP2P）时 P2P 内存访问失败