明显的 CUDA 魔法

Question

我正在使用 CUDA（如果差异很重要，实际上我正在使用 pyCUDA）并对数组执行一些计算。我正在启动一个具有 320*600 线程网格的内核。在内核中，我声明了两个包含 20000 个组件的线性数组：

float test[20000]
float test2[20000]

我使用这些数组执行简单的计算，例如用常量值填充它们。关键是内核 正常执行 并且 正确执行计算 （你可以看到这个用测试的随机组件填充数组并发送它从设备到主机的数组）。

问题是我的NVIDIA卡只有2GB内存，分配给数组test和test2的内存总量是320*600*20000*4字节，远远超过2GB。

这段记忆是从哪里来的？以及CUDA如何在每个线程中执行计算？

感谢您的宝贵时间

Answer 1

local/stack 内存需求的实际大小并不像您想象的那样（对于整个网格，一次全部），但实际上是基于@njuffa here 描述的公式。

基本上，local/stack 内存需求的大小取决于您运行所在设备的最大瞬时容量，而不是网格的大小。

根据 njuffa 提供的信息，可用堆栈大小限制（每个线程）为以下较小者：

最大本地内存大小（cc2.x 及更高版本为 512KB）
可用 GPU 内存/（SM 的数量）/（每个 SM 的最大线程数）

对于你的第一个案例：

float test[20000];
float test2[20000];

总数为 160KB（每个线程），因此我们低于每个线程 512KB 的最大限制。第二个限制呢？

GTX 650m 有 2 个 cc 3.0 (kepler) SM（每个 Kepler SM 有 192 个内核）。因此，上面的第二个限制给出，如果 all GPU 内存是 available:

2GB/2/2048 = 512KB

（开普勒有 2048 max threads per multiprocessor）所以在这种情况下是相同的限制。但这假设所有 GPU 内存都可用。

由于您在评论中建议此配置失败：

float test[40000];
float test2[40000];

即320KB，我会得出结论，您的实际可用 GPU 内存在这种批量分配尝试的点上高于 (160/512)*100%，即高于 31% 但低于 (320/512)*100%，即低于 62.5% 2GB，所以我得出结论，在堆栈帧的批量分配请求时，您的可用 GPU 内存将小于 1.25GB。

您可以通过在有问题的内核启动之前调用 cudaGetMemInfo 来尝试查看是否是这种情况（尽管我不知道如何在 pycuda 中执行此操作）。即使您的 GPU 以 2GB 开始，如果您运行从它开始显示，您可能从接近 1.5GB 的数字开始。在内核启动时在此批量分配请求之前发生的动态（例如 cudaMalloc）和/或静态（例如 __device__）分配都会影响可用内存。

这都是为了说明一些细节。您的问题的一般答案是 "magic" 的出现是由于 GPU 不一定同时为网格中的所有线程分配堆栈帧和本地内存。它只需要分配设备的 最大瞬时容量 所需的内容（即 SM * 每个 SM 的最大线程数），这可能是一个明显小于所需的数字整个网格。

明显的 CUDA 魔法

Apparent CUDA magic

c++

c

cuda

pycuda