使用 CUDA-aware MPI 的要求

Question

我想通过 this article 中描述的支持 CUDA 的 MPI 在不同的 CUDA 设备之间交换数据。据我了解，以下代码应该可以完成这项工作：

#include <mpi.h>

int main( int argc, char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL, NULL );
  MPI_Comm_rank( MPI_COMM_WORLD, &rank );
  cudaMalloc( (void**)&ptr, elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr, elements, MPI_FLOAT, 1, 0, MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr, elements, MPI_FLOAT, 0, 0, MPI_COMM_WORLD, &status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

不幸的是，此程序在两个进程上执行时因段错误而崩溃，并显示以下消息：

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

我使用 OpenMPI 1.8.2 和 nvcc 6.5；据我所知，这些版本应该支持此功能。

所以，我的问题是：我做错了什么？我错过了什么吗？对于如何获得 最小工作示例 !

的任何提示，我将不胜感激

Answer 1

段错误几乎可以肯定是由于将设备指针传递给 MPI，而 MPI 需要主机指针。只有正确构建的 CUDA 感知 MPI 才能接受设备指针。仅仅拥有 OpenMPI 1.8.2 是不够的。您必须具有使用 CUDA 感知设置明确构建的 OpenMPI 版本。

对于 OpenMPI，

开始here

摘录：

如何构建支持 CUDA 的 Open MPI？

支持 CUDA 意味着 MPI 库可以直接发送和接收 GPU 缓冲区。此功能存在于 Open MPI 1.7 系列及更高版本中。支持在不断更新，所以不同版本存在不同级别的支持。

Configuring Open MPI 1.7, MPI 1.7.1 and 1.7.2

--with-cuda(=DIR)       Build cuda support, optionally adding DIR/include,
                      DIR/lib, and DIR/lib64


--with-cuda-libdir=DIR  Search for cuda libraries in DIR

以下是启用 CUDA 支持的配置命令的一些示例。

在默认位置搜索。在 /usr/local/cuda/include 中查找 cuda.h 并在 /usr/lib64 中查找 libcuda.so。
```
./configure --with-cuda
```
在 /usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h 并在默认位置 /usr/lib64.[=23 中搜索 libcuda.so =]
```
./configure --with-cuda=/usr/local/cuda-v4.0/cuda
```
在 /usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h 并在 /usr/lib64 中搜索 libcuda.so。（与上一个相同）
```
./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64
```

如果找不到 cuda.h 或 libcuda.so 文件，则配置将中止。

注意：Open MPI 1.7.2 中存在一个错误，如果您使用 --enable-static 配置库，将会出现错误。要解决此错误，请将以下内容添加到您的配置行并重新配置。这会禁用基本上未使用的 PML BFO 的构建。此错误已在 Open MPI 1.7.3 中修复。

--enable-mca-no-build=pml-bfo

Configuring Open MPI 1.7.3 and later

使用 Open MPI 1.7.3 及更高版本 libcuda.so 库是动态加载的，因此无需在配置时指定它的路径。因此，您只需要 cuda.h 头文件的路径。

在默认位置搜索。在 /usr/local/cuda/include 中查找 cuda.h。
```
./configure --with-cuda
```
在 /usr/local/cuda-v5.0/cuda/include 中搜索 cuda.h。
```
./configure --with-cuda=/usr/local/cuda-v5.0/cuda
```

请注意，您不能使用 --disable-dlopen 进行配置，因为这会破坏 Open MPI 库动态加载 libcuda.so.

的能力

见

this FAQ entry 有关如何使用 CUDA 支持的详细信息。

请注意，这些说明假定您熟悉构建 OpenMPI。仅仅运行 ./configure ... 是不够的，之后还有 make 和 make install 步骤。但是上述配置命令是区分 CUDA 感知 OpenMPI 构建与普通构建的区别。

Answer 2

我将在一个简洁的答案中总结讨论。代码正确，但可能会出现以下问题：

MPI 还没有构建有 CUDA 支持（请参阅@Robert Crovella 的回答）。这可以通过调用来检查：

ompi_info --parsable -l 9 --all | grep mpi_built_with_cuda_support:value

如果一切正常，应该给出：

mca:mpi:base:param:mpi_built_with_cuda_support:value:true
GPU 的架构不支持该功能。需要 Fermi 或更高版本（请参阅@Christian Sarofeen 的评论）

原来第二个问题适用于我的情况。

使用 CUDA-aware MPI 的要求

Requirements for use of CUDA-aware MPI

c++

c

cuda

mpi