在 cuda 上下文中获取内存使用情况

Question

有没有一种方法可以获得 cuda 上下文内存使用情况，而不必使用仅报告设备全局信息的 cudaMemGetInfo？或者至少是一种获取当前应用程序占用多少内存的方法？

Answer 1

好像是不可能的[No]. However, retrieving per-process memory usage is still a good alternative. And as Robert has pointed out, per-process memory usage can be retrieved using NVML，具体是用nvmlDeviceGetComputeRunningProcesses函数