我如何能够 运行 Tensor Core 指令而实际上没有 Tensor Core？

Question

我正在使用 CUDA 的 WMMA API 在 GTX 1660 Ti 上乘以片段。这个 GPU 没有 Tensor Core，但是当我查看为我的代码生成的 SASS 时，我看到 HMMA.1688.F32 指令，这是 Tensor Core 指令！怎么会这样？

相关信息：

• NVIDIA 确认我的显卡没有 Tensor Core：https://www.nvidia.com/en-eu/geforce/10-series/（技术特点 table 比较 GTX 10、GTX 16 和 RTX 20 系列）。
• 链接到张量核心单元的 HMMA.1688.F32 指令：
  • https://developer.download.nvidia.com/video/gputechconf/gtc/2019/presentation/s9839-discovering-the-turing-t4-gpu-architecture-with-microbenchmarks.pdf
  • https://ieeexplore.ieee.org/document/9139835（访问需要帐号，但更详细）

Answer 1

为了代码二进制兼容性，图灵家族的“非张量核心”成员有 hardware in the SM 可以处理张量核心指令，尽管与张量核心单元相比吞吐量相对较低。