使用 OpenCL 优化本地内存使用
Optimizing local memory use with OpenCL
OpenCL 当然是为了抽象出硬件实现的细节而设计的，所以在担心硬件配置方面陷入太多的困境可能不是一个好主意。
话虽如此，我想知道有多少本地内存对于任何特定内核来说是有效的。例如，如果我有一个包含 64 个工作项的工作组，那么可能在一个计算单元内同时 运行 个以上。然而，CL_DEVICE_LOCAL_MEM_SIZE 查询返回的本地内存大小似乎适用于整个计算单元，而如果此信息适用于工作组，它会更有用。如果工作组共存于同一个计算单元，有没有办法知道有多少工作组需要共享同一个内存池？
我认为确保我的工作组内存使用量低于本地总内存大小的四分之一是个好主意。这是不是太保守了？手动调整是唯一的方法吗？对我来说，这意味着您只针对一种 GPU 型号进行调优。
最后，我想知道整个本地内存大小是否可供用户分配本地内存，或者是否有其他系统开销使其更少？我听说如果你分配太多，那么数据就会被放在全局内存中。有没有办法确定是否属于这种情况？
如果您的工作相当独立并且不重复使用输入数据，您可以安全地忽略有关工作组和共享本地内存的所有内容。但是，如果您的工作项可以共享任何输入数据（经典示例是重新读取输入数据的 3x3 或 5x5 卷积），那么最佳实现将需要共享本地内存。非独立工作也可以受益。考虑共享本地内存的一种方式是程序员管理的缓存。
如果工作组共存于同一个计算单元，有没有办法知道有多少工作组需要共享同一个内存池？
不是一步到位，但你可以计算出来。首先，您需要知道一个工作组需要多少本地内存。为此，您可以使用带有标志 CL_KERNEL_LOCAL_MEM_SIZE 的 clGetKernelWorkGroupInfo（严格来说，这是一个内核所需的本地内存）。由于您知道每个计算单元有多少本地内存，因此您可以知道 可以 在一个计算单元上共存的最大工作组数。
其实，这并没有那么简单。您必须考虑其他参数，例如可以驻留在一个计算单元上的最大线程数。
这是一个 occupancy 的问题（你应该尽量最大化）。不幸的是，占用率会因底层架构而异。
AMD 发表了一篇关于如何计算不同架构占用率的文章here。
NVIDIA 提供了一个 xls sheet 来计算不同架构的占用率。
并非所有进行计算所需的信息都可以使用 OCL 查询（如果我没记错的话），但是没有什么能阻止您在应用程序中存储有关不同体系结构的信息。
我认为确保我的工作组内存使用量低于本地总内存大小的四分之一是个好主意。是不是太保守了？
它非常严格，使用 clGetKernelWorkGroupInfo 您不需要这样做。然而，关于 CL_KERNEL_LOCAL_MEM_SIZE 的一些事情需要考虑：
If the local memory size, for any pointer argument to the kernel
declared with the __local address qualifier, is not specified, its
size is assumed to be 0.
由于您可能需要动态计算每个工作组所需的本地内存大小，因此这里有一个基于内核是在 JIT 中编译的事实的解决方法。
您可以在内核文件中定义一个常量，然后在调用 clBuildProgram.
时使用 -D 选项设置它的值（之前已计算）
我想知道整个本地内存大小是否可用于用户分配本地内存，或者是否有其他系统开销使其更少？
再次 CL_KERNEL_LOCAL_MEM_SIZE 是答案。标准规定：
This includes local memory that may be needed by an implementation to
execute the kernel...
OpenCL 当然是为了抽象出硬件实现的细节而设计的，所以在担心硬件配置方面陷入太多的困境可能不是一个好主意。
话虽如此，我想知道有多少本地内存对于任何特定内核来说是有效的。例如，如果我有一个包含 64 个工作项的工作组，那么可能在一个计算单元内同时 运行 个以上。然而，CL_DEVICE_LOCAL_MEM_SIZE 查询返回的本地内存大小似乎适用于整个计算单元，而如果此信息适用于工作组，它会更有用。如果工作组共存于同一个计算单元，有没有办法知道有多少工作组需要共享同一个内存池？
我认为确保我的工作组内存使用量低于本地总内存大小的四分之一是个好主意。这是不是太保守了？手动调整是唯一的方法吗？对我来说，这意味着您只针对一种 GPU 型号进行调优。
最后，我想知道整个本地内存大小是否可供用户分配本地内存，或者是否有其他系统开销使其更少？我听说如果你分配太多，那么数据就会被放在全局内存中。有没有办法确定是否属于这种情况？
如果您的工作相当独立并且不重复使用输入数据，您可以安全地忽略有关工作组和共享本地内存的所有内容。但是，如果您的工作项可以共享任何输入数据（经典示例是重新读取输入数据的 3x3 或 5x5 卷积），那么最佳实现将需要共享本地内存。非独立工作也可以受益。考虑共享本地内存的一种方式是程序员管理的缓存。
如果工作组共存于同一个计算单元，有没有办法知道有多少工作组需要共享同一个内存池？
不是一步到位，但你可以计算出来。首先，您需要知道一个工作组需要多少本地内存。为此，您可以使用带有标志 CL_KERNEL_LOCAL_MEM_SIZE 的 clGetKernelWorkGroupInfo（严格来说，这是一个内核所需的本地内存）。由于您知道每个计算单元有多少本地内存，因此您可以知道 可以 在一个计算单元上共存的最大工作组数。
其实，这并没有那么简单。您必须考虑其他参数，例如可以驻留在一个计算单元上的最大线程数。
这是一个 occupancy 的问题（你应该尽量最大化）。不幸的是，占用率会因底层架构而异。
AMD 发表了一篇关于如何计算不同架构占用率的文章here。
NVIDIA 提供了一个 xls sheet 来计算不同架构的占用率。
并非所有进行计算所需的信息都可以使用 OCL 查询（如果我没记错的话），但是没有什么能阻止您在应用程序中存储有关不同体系结构的信息。
我认为确保我的工作组内存使用量低于本地总内存大小的四分之一是个好主意。是不是太保守了？
它非常严格，使用 clGetKernelWorkGroupInfo 您不需要这样做。然而，关于 CL_KERNEL_LOCAL_MEM_SIZE 的一些事情需要考虑：
If the local memory size, for any pointer argument to the kernel declared with the __local address qualifier, is not specified, its size is assumed to be 0.
由于您可能需要动态计算每个工作组所需的本地内存大小，因此这里有一个基于内核是在 JIT 中编译的事实的解决方法。
您可以在内核文件中定义一个常量，然后在调用 clBuildProgram.
时使用 -D 选项设置它的值（之前已计算）我想知道整个本地内存大小是否可用于用户分配本地内存，或者是否有其他系统开销使其更少？
再次 CL_KERNEL_LOCAL_MEM_SIZE 是答案。标准规定：
This includes local memory that may be needed by an implementation to execute the kernel...