已发布 load/store 条重播指令
Issued load/store instructions for replay
关于 load/store 指令有两个 nvprof 指标，它们是 ldst_executed 和 ldst_issued。我们知道executed<=issued。我希望那些已发布但未执行的 load/store 与分支预测和其他不正确的预测有关。但是，从this (slide 9) document and this题目来看，发出但未执行的指令与序列化和重播有关。
我不知道这个原因是否适用于 load/store 说明。此外，我想知道为什么这样的术语用于已发出但未执行的指令？如果出于任何原因存在序列化，指令将被执行多次。那么，为什么他们不被算作executed？
有什么解释吗？
GPU 架构基于最大化吞吐量而不是最小化延迟。因此，GPU（目前）并不真正进行乱序执行或分支预测。 GPU 不是构建几个充满复杂控制逻辑的内核来使一个线程 运行 非常快（就像你在 CPU 上那样），而是使用这些晶体管来构建更多内核 运行尽可能多的并行线程。
如您链接的演示文稿的幻灯片 9 中所述，已执行指令是控制流在您的程序中传递的指令（基本上，运行 的汇编代码行数）。例如，当您执行全局加载指令并且无法立即处理内存请求（错过缓存）时，GPU 将切换到另一个线程。一旦缓存中的值准备就绪并且 GPU 切换回您的线程，将必须再次发出加载指令以完成获取值（另请参见 and this thread）。例如，当您访问共享内存并且存在内存冲突时，共享内存访问将不得不为 warp 中的不同线程重播多次...
区分已执行指令和已发出指令的主要原因似乎是，两者的比率可以用来衡量您的代码由于无法在执行指令时立即完成的指令而产生的开销量被执行...
NVIDIA 架构通过为一组称为 warp 的线程发出指令来优化内存吞吐量。如果每个线程访问一个连续的数据元素或相同的元素，那么访问可以非常有效地执行。但是，如果每个线程访问不同高速缓存行中的数据或同一存储区中不同地址的数据，则会发生冲突并且必须重放指令。
inst_executed 是退出的指令数。
inst_issued 是发出的指令数。在向量内存访问、内存地址冲突、内存库冲突等情况下，一条指令可能会被多次发出。每次发出时，线程掩码都会减少，直到所有线程都完成。
进行区分有两个原因：
1. 一条指令的退出表明数据相关性的完成。尽管可能会重播，但数据依赖性仅解决了 1 次。
2. 发布和执行之间的比率是显示节省 warp 调度程序发布周期的机会的简单方法。
在 Fermi 和 Kepler SM 中，如果遇到内存冲突，则重放（重新发出）指令直到所有线程完成。这是由 warp 调度程序执行的。这些重放会消耗发布周期，从而降低 SM 向数学管道发布指令的能力。在这个 SM issued > executed 表示优化的机会，尤其是在 issued IPC 很高的情况下。
在 Maxwell-Turing SM 中，向量访问、地址冲突和内存冲突的重放由内存单元（共享内存、L1 等）重放，并且不会窃取 warp 调度程序发布周期。在这个 SM 中发布的很少超过执行的几个 %。
示例：内核加载 32 位值。 warp 中的所有 32 个线程都处于活动状态，每个线程访问一个唯一的缓存行（步长 = 128 字节）。
在 Kepler (CC3.*) SM 上，指令发出 1 次，然后再重放 31 次，因为 Kepler L1 每次请求只能执行 1 次标签查找。
inst_executed = 1
inst_issued = 32
在 Kepler 上，必须为 L1 中错过的每个请求再次重放指令。如果所有线程都未命中 L1 缓存，则
inst_executed = 1
inst_issued >= 64 = 32 次请求 + 32 次未命中重播
在 Maxwell - Turing 架构上，重放由 SM 内存系统执行。重放可以限制内存吞吐量，但不会阻止 warp 调度程序向数学管道发出指令。
inst_executed = 1
inst_issued = 1
在 Maxwell-Turing Nsight 上 Compute/Perfworks 公开每个内存管道的吞吐量计数器，包括由于内存库冲突、原子序列化、地址分歧等引起的周期数。
关于 load/store 指令有两个 nvprof 指标，它们是 ldst_executed 和 ldst_issued。我们知道executed<=issued。我希望那些已发布但未执行的 load/store 与分支预测和其他不正确的预测有关。但是，从this (slide 9) document and this题目来看，发出但未执行的指令与序列化和重播有关。
我不知道这个原因是否适用于 load/store 说明。此外，我想知道为什么这样的术语用于已发出但未执行的指令？如果出于任何原因存在序列化，指令将被执行多次。那么，为什么他们不被算作executed？
有什么解释吗？
GPU 架构基于最大化吞吐量而不是最小化延迟。因此，GPU（目前）并不真正进行乱序执行或分支预测。 GPU 不是构建几个充满复杂控制逻辑的内核来使一个线程 运行 非常快（就像你在 CPU 上那样），而是使用这些晶体管来构建更多内核 运行尽可能多的并行线程。
如您链接的演示文稿的幻灯片 9 中所述，已执行指令是控制流在您的程序中传递的指令（基本上，运行 的汇编代码行数）。例如，当您执行全局加载指令并且无法立即处理内存请求（错过缓存）时，GPU 将切换到另一个线程。一旦缓存中的值准备就绪并且 GPU 切换回您的线程，将必须再次发出加载指令以完成获取值（另请参见
区分已执行指令和已发出指令的主要原因似乎是，两者的比率可以用来衡量您的代码由于无法在执行指令时立即完成的指令而产生的开销量被执行...
NVIDIA 架构通过为一组称为 warp 的线程发出指令来优化内存吞吐量。如果每个线程访问一个连续的数据元素或相同的元素，那么访问可以非常有效地执行。但是，如果每个线程访问不同高速缓存行中的数据或同一存储区中不同地址的数据，则会发生冲突并且必须重放指令。
inst_executed 是退出的指令数。 inst_issued 是发出的指令数。在向量内存访问、内存地址冲突、内存库冲突等情况下，一条指令可能会被多次发出。每次发出时，线程掩码都会减少，直到所有线程都完成。
进行区分有两个原因： 1. 一条指令的退出表明数据相关性的完成。尽管可能会重播，但数据依赖性仅解决了 1 次。 2. 发布和执行之间的比率是显示节省 warp 调度程序发布周期的机会的简单方法。
在 Fermi 和 Kepler SM 中，如果遇到内存冲突，则重放（重新发出）指令直到所有线程完成。这是由 warp 调度程序执行的。这些重放会消耗发布周期，从而降低 SM 向数学管道发布指令的能力。在这个 SM issued > executed 表示优化的机会，尤其是在 issued IPC 很高的情况下。
在 Maxwell-Turing SM 中，向量访问、地址冲突和内存冲突的重放由内存单元（共享内存、L1 等）重放，并且不会窃取 warp 调度程序发布周期。在这个 SM 中发布的很少超过执行的几个 %。
示例：内核加载 32 位值。 warp 中的所有 32 个线程都处于活动状态，每个线程访问一个唯一的缓存行（步长 = 128 字节）。
在 Kepler (CC3.*) SM 上，指令发出 1 次，然后再重放 31 次，因为 Kepler L1 每次请求只能执行 1 次标签查找。
inst_executed = 1 inst_issued = 32
在 Kepler 上，必须为 L1 中错过的每个请求再次重放指令。如果所有线程都未命中 L1 缓存，则
inst_executed = 1 inst_issued >= 64 = 32 次请求 + 32 次未命中重播
在 Maxwell - Turing 架构上，重放由 SM 内存系统执行。重放可以限制内存吞吐量，但不会阻止 warp 调度程序向数学管道发出指令。
inst_executed = 1 inst_issued = 1
在 Maxwell-Turing Nsight 上 Compute/Perfworks 公开每个内存管道的吞吐量计数器，包括由于内存库冲突、原子序列化、地址分歧等引起的周期数。