为 infiniband 设置 GPUDirect

Question

我尝试将 GPUDirect 设置为直接在设备内存上使用 infiniband 动词 rdma 调用，而无需使用 cudaMemcpy。我有 2 台带有 nvidia k80 gpu 卡的机器，每台机器的驱动程序版本为 367.27。已安装 CUDA8 和 Mellanox OFED 3.4 还安装了 Mellanox-nvidia GPUDirect 插件：

-bash-4.2$ service nv_peer_mem status
nv_peer_mem module is loaded.

根据这个线程“” 我有 GPUDirect 的所有要求，下面的代码应该运行成功。但它并没有，ibv_reg_mr 失败并出现错误 "Bad Address"，就好像 GPUDirect 没有正确安装一样。

void * gpu_buffer;
struct ibv_mr *mr;
const int size = 64*1024;
cudaMalloc(&gpu_buffer,size); // TODO: Check errors
mr = ibv_reg_mr(pd,gpu_buffer,size,IBV_ACCESS_LOCAL_WRITE|IBV_ACCESS_REMOTE_WRITE|IBV_ACCESS_REMOTE_READ);

请求的信息：
使用了 mlx5。
最后一个内核日志：

[Nov14 09:49] mlx5_warn:mlx5_0:mlx5_ib_reg_user_mr:1418:(pid 4430): umem get failed (-14)

我错过了什么吗？我需要一些其他数据包还是必须以某种方式在我的代码中激活 GPUDirect？

Answer 1

nv_peer_mem 模块失败的一个常见原因是与统一内存 (UVM) 交互。你可以尝试禁用 UVM:

export CUDA_DISABLE_UNIFIED_MEMORY=1

?

如果这不能解决您的问题，您应该尝试运行 validation 和 copybw 来自 https://github.com/NVIDIA/gdrcopy 的测试来检查 GPUDirectRDMA。如果有效，则说明您的 Mellanox 堆栈配置错误。

为 infiniband 设置 GPUDirect

Setting up GPUDirect for infiniband

cuda

infiniband

gpudirect