使用 Nsight Systems 跟踪自定义 CUDA 内核

Question

我在 C++20 和 CUDA 11 中实现的库上工作。这个库是从 Python 通过 ctypes 通过一个 C API 调用的，它只是交换 JSON 字符串。我们使用 Clang 11 编译它。

为了分析代码，我在 C++ 代码中添加了很多 NVTX 范围。这对 Nsight Systems 很有效，当使用 nsys profile -t nvtx … 收集数据时，我可以看到范围堆栈及其手动选择的名称。不过，这并没有告诉我有关 GPU 的任何信息。所以我指定 nvtx,cuda,cublas,cudnn 以获得更多信息。

但我得到的只是众多内核中的一个。输出如下所示：

可以看到漂亮的 NVTX 上下文，可以看到对 CUDA API（memcpy 等）的调用。但是只有一个内核出现，我用红色箭头标记了它。

我们有一堆不同的内核，并直接从 .cu 文件中使用 <<<>>> 语法启动它们。

感觉好像我缺少 nsys 的跟踪标志、CUDA 代码的一些编译选项或内核代码的一些代码注释，如 NVTX。我必须做什么才能使我的自定义内核显示在配置文件中？

Answer 1

问题可能是我没有正确停止数据收集，而我们的程序是一个交互式服务器，其中一个以 SIGINT 停止。可能中断后数据没有正确存储。

我在代码中添加了对探查器 API 的调用，这样我就可以在主循环完成后显式调用 cudaProfilerStop()。我已经用一个小的 RAII 包装器完成了它，这样它甚至可以使用 SIGINT。

#include <cuda_profiler_api.h>

class ProfilingRange {
 public:
  ProfilingRange() {
    cudaProfilerStart();
  }

  ~ProfilingRange() {
    cudaProfilerStop();
  }
};

在 nsys profile 命令行上我指定 --capture-range=cudaProfilerApi 并且它似乎工作正常。现在出现了很多内核，我可以了解更多关于系统的知识。

使用 Nsight Systems 跟踪自定义 CUDA 内核

Tracing custom CUDA kernels with Nsight Systems

c++

profiling

cuda

nvidia

nsight