首次使用 AVX 256 位向量会减慢 128 位向量和 AVX 标量操作

Question

最初我试图重现 Agner Fog 的微体系结构指南部分“YMM 和 ZMM 向量指令的预热期”中描述的效果，其中说：

The processor turns off the upper parts of the vector execution units when it is not used, in order to save power. Instructions with 256-bit vectors have a throughput that is approximately 4.5 times slower than normal during an initial warm-up period of approximately 56,000 clock cycles or 14 μs.

我发现速度变慢了，虽然它看起来更接近 ~2 倍而不是 4.5 倍。但是我发现在我的 CPU（Intel i7-9750H Coffee Lake）上，减速不仅影响 256 位运算，而且影响 128 位向量运算和标量浮点运算（甚至 N 数XMM 触摸指令后的 GPR-only 指令）。

基准程序代码：

# Compile and run:
# clang++ ymm-throttle.S && ./a.out

.intel_syntax noprefix

.data
L_F0:
  .asciz "ref cycles = %u\n"

.p2align 5
L_C0:
  .long 1
  .long 2
  .long 3
  .long 4
  .long 1
  .long 2
  .long 3
  .long 4

.text

.set initial_scalar_warmup, 5*1000*1000
.set iteration_count, 30*1000
.set wait_count, 50*1000

.global _main
_main:
  # ---------- Initial warm-up
  # It seems that we enter _main (at least in MacOS 11.2.2) in a "ymm warmed-up" state.
  #
  # Initial warm-up loop below is long enough for the processor to switch back to
  # "ymm cold" state. It also may reduce dynamic-frequency scaling related measurements
  # deviations (hopefully CPU is in full boost by the time we finish initial warmup loop).

  vzeroupper

  push rbp
  mov ecx, initial_scalar_warmup

.p2align 4
_initial_loop:
  add eax, 1
  add edi, 1
  add edx, 1

  dec ecx
  jnz _initial_loop

  # --------- Measure XMM

  # TOUCH YMM.
  # Test to see effect of touching unrelated YMM register
  # on XMM performance.
  # If "vpxor ymm9" below is commented out, then the xmm_loop below
  # runs a lot faster (~2x faster).
  vpxor ymm9, ymm9, ymm9

  mov ecx, iteration_count
  rdtsc
  mov esi, eax

  vpxor xmm0, xmm0, xmm0
  vpxor xmm1, xmm1, xmm1
  vpxor xmm2, xmm2, xmm2
  vmovdqa xmm3, [rip + L_C0]

.p2align 5
_xmm_loop:
  # Here we only do XMM (128-bit) VEX-encoded op. But it is triggering execution throttling.
  vpaddd xmm0, xmm3, xmm3
  add edi, 1
  add eax, 1

  dec ecx
  jnz _xmm_loop

  lfence
  rdtsc
  sub eax, esi
  mov esi, eax  # ESI = ref cycles count

  # ------------- Print results

  lea rdi, [rip + L_F0]
  xor eax, eax
  call _printf

  vzeroupper
  xor eax, eax
  pop rbp
  ret

问题：我的基准测试是否正确？对正在发生的事情的描述（如下）是否合理？

CPU 处于 AVX 冷状态（在 ~675 µs 内没有执行 256-bit/512-bit 指令）遇到带有 YMM (ZMM) 目标寄存器的单个指令。 CPU 立即切换到某种“过渡到 AVX-warm”状态。这大概需要 Agner 指南中提到的 ~100-200 个周期。这个“过渡”期持续约 56'000 个周期。

在过渡期间 GPR 代码可能会正常执行，但任何具有向量目标寄存器的指令（包括 128 位 XMM 或标量浮点指令，甚至包括 vmovq xmm0, rax）都会对整个执行流水线应用限制。这会影响 GPR-only 代码，紧随此类指令之后的 N 周期（不确定有多少；可能是约十几个周期的指令）。

也许节流限制了分配给执行单元的微操作数（不管这些微操作是什么；只要至少有一个微操作带有向量目标寄存器）？

对我来说，这里的新鲜事是我认为在过渡期间限制将仅适用于 256 位（和 512 位）指令，但似乎任何具有向量寄存器目标的指令都会受到影响（如以及 ~20-60 的探地雷达 - 仅立即遵循说明；无法在我的系统上更精确地测量）。

相关：an article at Travis Downs blog 的“仅电压转换”部分可能描述了相同的效果。虽然作者在过渡期间测量了 YMM 向量的性能，但结论是它不是向量的上部被拆分，而是在过渡期间遇到向量寄存器触摸指令时对整个流水线进行节流。（编辑：博客 post 没有在过渡期间测量 XMM 寄存器，这是 post 正在测量的）。

Answer 1

事实上，即使对于窄 SIMD 指令，您也会看到节流，这是我称之为 隐式扩大 .

的行为的副作用

基本上，在现代 Intel 上，如果任何寄存器的高 128-255 位是脏的，范围 ymm0 到 ymm15，any SIMD 指令在内部扩展到 256 位，因为高位需要清零，这需要寄存器文件中的完整 256 位寄存器供电，可能还需要 256 位 ALU 路径以及。因此，该指令就 AVX 频率而言就好像它是 256 位宽一样。

类似地，如果 any zmm 寄存器上 zmm0 到 zmm15 的位 256 到 511 是脏的，操作将隐式扩展到 512 位.

为了区分轻型指令和重型指令，加宽指令的类型与全宽指令的类型相同。也就是说，即使只有 128 位 FMA 发生，128 位 FMA 被扩展到 512 位也充当“重型 AVX-512”。

这适用于所有使用 xmm/ymm 寄存器的指令，甚至标量 FP 操作。

请注意，这不仅仅适用于这个节流期：这意味着如果你有脏上层，窄 SIMD 指令（或标量 FP）将导致转换到更保守的 DVFS 状态，就像完整的-width 指令就可以了。

首次使用 AVX 256 位向量会减慢 128 位向量和 AVX 标量操作

First use of AVX 256-bit vectors slows down 128-bit vector and AVX scalar ops

assembly

sse

x86-64

simd

avx