使用 AVX512 生成掩码的 BMI
BMI for generating masks with AVX512
我受到了启发 link
https://www.sigarch.org/simd-instructions-considered-harmful/ 查看 AVX512 的性能。我的想法是可以使用 AVX512 掩码操作删除循环之后的清理循环。
这是我使用的代码
void daxpy2(int n, double a, const double x[], double y[]) {
__m512d av = _mm512_set1_pd(a);
int r = n&7, n2 = n - r;
for(int i=-n2; i<0; i+=8) {
__m512d yv = _mm512_loadu_pd(&y[i+n2]);
__m512d xv = _mm512_loadu_pd(&x[i+n2]);
yv = _mm512_fmadd_pd(av, xv, yv);
_mm512_storeu_pd(&y[i+n2], yv);
}
__m512d yv = _mm512_loadu_pd(&y[n2]);
__m512d xv = _mm512_loadu_pd(&x[n2]);
yv = _mm512_fmadd_pd(av, xv, yv);
__mmask8 mask = (1 << r) -1;
//__mmask8 mask = _bextr_u32(-1, 0, r);
_mm512_mask_storeu_pd(&y[n2], mask, yv);
}
我认为使用 BMI1 and/or BMI2 指令可以用更少的指令生成掩码。然而，
__mmask8 mask = _bextr_u32(-1, 0, r)
并不比
好（在指令数量上）
__mmask8 mask = (1 << r) -1;
参见 https://godbolt.org/z/BFQCM3 and https://godbolt.org/z/tesmB_。
这似乎是因为 _bextr_u32 无论如何都会移动 8。
是否可以使用更少的指令（例如使用 BMI 或其他方法）或更优化地生成掩码？
我用 AVX512 的结果扩充了 link 中的 table。
ISA | MIPS-32 | AVX2 | RV32V | AVX512 |
******************************|*********|****** |*******|******* |
Instructions(static) | 22 | 29 | 13 | 28 |
Instructions per Main Loop | 7 | 6* | 10 | 5*|
Bookkeeping Instructions | 15 | 23 | 3 | 23 |
Results per Main Loop | 2 | 4 | 64 | 8 |
Instructions (dynamic n=1000) | 3511 | 1517**| 163 | 645 |
*macro-op fusion will reduce the number of uops in the main loop by 1
** without the unnecessary cmp instructions it would only be 1250+ instructions.
我认为如果 link 的作者从 -n 数到 0 而不是从 0 到 n 他们可以跳过cmp 指令，因为我在主循环中有（见下面的程序集）所以对于 AVX，它在主循环中应该是 5 条指令。
这是 ICC19 和 -O3 -xCOMMON-AVX512
的程序集
daxpy2(int, double, double const*, double*):
mov eax, edi #6.13
and eax, 7 #6.13
movsxd r9, edi #6.25
sub r9, rax #6.21
mov ecx, r9d #7.14
neg ecx #7.14
movsxd rcx, ecx #7.14
vbroadcastsd zmm16, xmm0 #5.16
lea rdi, QWORD PTR [rsi+r9*8] #9.35
lea r8, QWORD PTR [rdx+r9*8] #8.35
test rcx, rcx #7.20
jge ..B1.5 # Prob 36% #7.20
..B1.3: # Preds ..B1.1 ..B1.3
vmovups zmm17, ZMMWORD PTR [rdi+rcx*8] #10.10
vfmadd213pd zmm17, zmm16, ZMMWORD PTR [r8+rcx*8] #10.10
vmovups ZMMWORD PTR [r8+rcx*8], zmm17 #11.23
add rcx, 8 #7.23
js ..B1.3 # Prob 82% #7.20
..B1.5: # Preds ..B1.3 ..B1.1
vmovups zmm17, ZMMWORD PTR [rsi+r9*8] #15.8
vfmadd213pd zmm16, zmm17, ZMMWORD PTR [rdx+r9*8] #15.8
mov edx, -1 #17.19
shl eax, 8 #17.19
bextr eax, edx, eax #17.19
kmovw k1, eax #18.3
vmovupd ZMMWORD PTR [r8]{k1}, zmm16 #18.3
vzeroupper #19.1
ret #19.1
哪里
add r8, 8
js ..B1.3
应该将宏操作融合到一条指令中。但是，正如 Peter Cordes 指出的那样，js 无法融合 。编译器本可以生成 jl 而不是融合。
我使用 Agner Fog 的 testp 实用程序来获取核心时钟（不是参考时钟）、指令、停用的微指令。我为 SSE2（实际上是具有 FMA 但具有 128 位向量的 AVX2）、AVX2 和 AVX512 对循环的三种不同变体进行了此操作
v1 = for(int64_t i=0; i<n; i+=vec_size) // generates cmp instruction
v2 = for(int64_t i=-n2; i<0; i+=vec_size) // no cmp but uses js
v3 = for(int64_t i=-n2; i!=0; i+=vec_size) // no cmp and uses jne
vec_size = 2 for SSE, 4 for AVX2, and 8 for AVX512
vec_size version core cycle instructions uops
2 v1 895 3014 3524
2 v2 900 2518 3535
2 v3 870 2518 3035
4 v1 527 1513 1777
4 v2 520 1270 1777
4 v3 517 1270 1541
8 v1 285 765 910
8 v2 285 645 910
8 v3 285 645 790
请注意，核心时钟并不是循环版本的真正功能。它仅取决于循环的迭代。它与 2*n/vec_size.
成正比
SSE 2*1000/2=1000
AVX2 2*1000/4=500
AVX512 2*1000/8=250
指令数从 v1 到 v2 确实发生了变化，但在 v2 和 v3 之间没有变化。对于 v1，它与 6*n/vec_size 成正比，对于 v2 和 v3 5*n/vec_size
最后，v1 和 v2 的 uops 数量大致相同，但 v3 的数量有所下降。对于 v1 和 v2，它与 7*n/vec_size 成正比，对于 v3 6*n/vec_size.
这是 vec_size=2
的 IACA3 结果
Throughput Analysis Report
--------------------------
Block Throughput: 1.49 Cycles Throughput Bottleneck: FrontEnd
Loop Count: 50
Port Binding In Cycles Per Iteration:
--------------------------------------------------------------------------------------------------
| Port | 0 - DV | 1 | 2 - D | 3 - D | 4 | 5 | 6 | 7 |
--------------------------------------------------------------------------------------------------
| Cycles | 0.5 0.0 | 0.5 | 1.5 1.0 | 1.5 1.0 | 1.0 | 0.0 | 0.0 | 0.0 |
--------------------------------------------------------------------------------------------------
DV - Divider pipe (on port 0)
D - Data fetch pipe (on ports 2 and 3)
F - Macro Fusion with the previous instruction occurred
* - instruction micro-ops not bound to a port
^ - Micro Fusion occurred
# - ESP Tracking sync uop was issued
@ - SSE instruction followed an AVX256/AVX512 instruction, dozens of cycles penalty is expected
X - instruction not supported, was not accounted in Analysis
| Num Of | Ports pressure in cycles | |
| Uops | 0 - DV | 1 | 2 - D | 3 - D | 4 | 5 | 6 | 7 |
-----------------------------------------------------------------------------------------
| 1 | | | 0.5 0.5 | 0.5 0.5 | | | | | vmovupd xmm1, xmmword ptr [r8+rax*8]
| 2 | 0.5 | 0.5 | 0.5 0.5 | 0.5 0.5 | | | | | vfmadd213pd xmm1, xmm2, xmmword ptr [rcx+rax*8]
| 2 | | | 0.5 | 0.5 | 1.0 | | | | vmovups xmmword ptr [rcx+rax*8], xmm1
| 1* | | | | | | | | | add rax, 0x2
| 0*F | | | | | | | | | js 0xffffffffffffffe3
Total Num Of Uops: 6
IACA 声称 js 与 add 宏融合，这与 Agner 和 testp 实用程序的性能计数器不一致。见上文，v2 与 7*n/vec_size 成正比，v3 与 6*n/vec_size 成正比，我推断这意味着 js 不进行宏融合。
我认为 link 的作者除了指令数量之外还应该考虑核心周期和微指令。
如果使用以下 BMI2 内部函数，您可以节省一条指令：
__mmask8 mask = _bzhi_u32(-1, r);
而不是 __mmask8 mask = (1 << r) -1;。参见 Godbolt link。
bzhi instruction 从指定位置开始将高位置零。对于寄存器操作数，bzhi 具有 1 个周期的延迟和每个周期 2 个的吞吐量。
除了@wim 使用 _bzhi_u32 而不是 _bextr_u32 的回答之外，您还应该：
- 屏蔽最后的
_mm512_loadu_pd 指令，以避免加载无效内存 ()，或对非有限值进行算术运算。
- 在任何地方都使用 64 位整数（实际上有符号或无符号）以避免
movsxd 符号扩展。这在 64 位系统上通常是一个很好的建议，除非您需要存储大量索引变量。
- 使用
i!=0 而不是 i<0 作为循环条件以获得 jne 而不是 js，因为这更好地与 add 指令配对：
- 一些小事，你也可以计算
n2 = n & (-8)或n2 = n ^ r，而不是n2=n-r。不确定，这是否会产生相关差异（icc 似乎不知道或不关心这一点）。 Godbolt-Link
void daxpy2(size_t n, double a, const double x[], double y[]) {
__m512d av = _mm512_set1_pd(a);
size_t r = n&7, n2 = n & (-8);
for(size_t i=-n2; i!=0; i+=8) {
__m512d yv = _mm512_loadu_pd(&y[i+n2]);
__m512d xv = _mm512_loadu_pd(&x[i+n2]);
yv = _mm512_fmadd_pd(av, xv, yv);
_mm512_storeu_pd(&y[i+n2], yv);
}
__mmask8 mask = _bzhi_u32(-1, r);
__m512d yv = _mm512_mask_loadu_pd(_mm512_undefined_pd (), mask, &y[n2]);
__m512d xv = _mm512_mask_loadu_pd(_mm512_undefined_pd (), mask, &x[n2]);
yv = _mm512_mask_fmadd_pd(av, mask, xv, yv);
_mm512_mask_storeu_pd(&y[n2], mask, yv);
}
为了进一步减少指令的数量，您可以使用指针递增，例如，like this（但是这会增加循环内的指令）。
我受到了启发 link https://www.sigarch.org/simd-instructions-considered-harmful/ 查看 AVX512 的性能。我的想法是可以使用 AVX512 掩码操作删除循环之后的清理循环。
这是我使用的代码
void daxpy2(int n, double a, const double x[], double y[]) {
__m512d av = _mm512_set1_pd(a);
int r = n&7, n2 = n - r;
for(int i=-n2; i<0; i+=8) {
__m512d yv = _mm512_loadu_pd(&y[i+n2]);
__m512d xv = _mm512_loadu_pd(&x[i+n2]);
yv = _mm512_fmadd_pd(av, xv, yv);
_mm512_storeu_pd(&y[i+n2], yv);
}
__m512d yv = _mm512_loadu_pd(&y[n2]);
__m512d xv = _mm512_loadu_pd(&x[n2]);
yv = _mm512_fmadd_pd(av, xv, yv);
__mmask8 mask = (1 << r) -1;
//__mmask8 mask = _bextr_u32(-1, 0, r);
_mm512_mask_storeu_pd(&y[n2], mask, yv);
}
我认为使用 BMI1 and/or BMI2 指令可以用更少的指令生成掩码。然而，
__mmask8 mask = _bextr_u32(-1, 0, r)
并不比
好（在指令数量上）__mmask8 mask = (1 << r) -1;
参见 https://godbolt.org/z/BFQCM3 and https://godbolt.org/z/tesmB_。
这似乎是因为 _bextr_u32 无论如何都会移动 8。
是否可以使用更少的指令（例如使用 BMI 或其他方法）或更优化地生成掩码？
我用 AVX512 的结果扩充了 link 中的 table。
ISA | MIPS-32 | AVX2 | RV32V | AVX512 |
******************************|*********|****** |*******|******* |
Instructions(static) | 22 | 29 | 13 | 28 |
Instructions per Main Loop | 7 | 6* | 10 | 5*|
Bookkeeping Instructions | 15 | 23 | 3 | 23 |
Results per Main Loop | 2 | 4 | 64 | 8 |
Instructions (dynamic n=1000) | 3511 | 1517**| 163 | 645 |
*macro-op fusion will reduce the number of uops in the main loop by 1
** without the unnecessary cmp instructions it would only be 1250+ instructions.
我认为如果 link 的作者从 -n 数到 0 而不是从 0 到 n 他们可以跳过cmp 指令，因为我在主循环中有（见下面的程序集）所以对于 AVX，它在主循环中应该是 5 条指令。
这是 ICC19 和 -O3 -xCOMMON-AVX512
daxpy2(int, double, double const*, double*):
mov eax, edi #6.13
and eax, 7 #6.13
movsxd r9, edi #6.25
sub r9, rax #6.21
mov ecx, r9d #7.14
neg ecx #7.14
movsxd rcx, ecx #7.14
vbroadcastsd zmm16, xmm0 #5.16
lea rdi, QWORD PTR [rsi+r9*8] #9.35
lea r8, QWORD PTR [rdx+r9*8] #8.35
test rcx, rcx #7.20
jge ..B1.5 # Prob 36% #7.20
..B1.3: # Preds ..B1.1 ..B1.3
vmovups zmm17, ZMMWORD PTR [rdi+rcx*8] #10.10
vfmadd213pd zmm17, zmm16, ZMMWORD PTR [r8+rcx*8] #10.10
vmovups ZMMWORD PTR [r8+rcx*8], zmm17 #11.23
add rcx, 8 #7.23
js ..B1.3 # Prob 82% #7.20
..B1.5: # Preds ..B1.3 ..B1.1
vmovups zmm17, ZMMWORD PTR [rsi+r9*8] #15.8
vfmadd213pd zmm16, zmm17, ZMMWORD PTR [rdx+r9*8] #15.8
mov edx, -1 #17.19
shl eax, 8 #17.19
bextr eax, edx, eax #17.19
kmovw k1, eax #18.3
vmovupd ZMMWORD PTR [r8]{k1}, zmm16 #18.3
vzeroupper #19.1
ret #19.1
哪里
add r8, 8
js ..B1.3
应该将宏操作融合到一条指令中。但是，正如 Peter Cordes jl 而不是融合。
我使用 Agner Fog 的 testp 实用程序来获取核心时钟（不是参考时钟）、指令、停用的微指令。我为 SSE2（实际上是具有 FMA 但具有 128 位向量的 AVX2）、AVX2 和 AVX512 对循环的三种不同变体进行了此操作
v1 = for(int64_t i=0; i<n; i+=vec_size) // generates cmp instruction
v2 = for(int64_t i=-n2; i<0; i+=vec_size) // no cmp but uses js
v3 = for(int64_t i=-n2; i!=0; i+=vec_size) // no cmp and uses jne
vec_size = 2 for SSE, 4 for AVX2, and 8 for AVX512
vec_size version core cycle instructions uops
2 v1 895 3014 3524
2 v2 900 2518 3535
2 v3 870 2518 3035
4 v1 527 1513 1777
4 v2 520 1270 1777
4 v3 517 1270 1541
8 v1 285 765 910
8 v2 285 645 910
8 v3 285 645 790
请注意，核心时钟并不是循环版本的真正功能。它仅取决于循环的迭代。它与 2*n/vec_size.
SSE 2*1000/2=1000
AVX2 2*1000/4=500
AVX512 2*1000/8=250
指令数从 v1 到 v2 确实发生了变化，但在 v2 和 v3 之间没有变化。对于 v1，它与 6*n/vec_size 成正比，对于 v2 和 v3 5*n/vec_size
最后，v1 和 v2 的 uops 数量大致相同，但 v3 的数量有所下降。对于 v1 和 v2，它与 7*n/vec_size 成正比，对于 v3 6*n/vec_size.
这是 vec_size=2
的 IACA3 结果Throughput Analysis Report
--------------------------
Block Throughput: 1.49 Cycles Throughput Bottleneck: FrontEnd
Loop Count: 50
Port Binding In Cycles Per Iteration:
--------------------------------------------------------------------------------------------------
| Port | 0 - DV | 1 | 2 - D | 3 - D | 4 | 5 | 6 | 7 |
--------------------------------------------------------------------------------------------------
| Cycles | 0.5 0.0 | 0.5 | 1.5 1.0 | 1.5 1.0 | 1.0 | 0.0 | 0.0 | 0.0 |
--------------------------------------------------------------------------------------------------
DV - Divider pipe (on port 0)
D - Data fetch pipe (on ports 2 and 3)
F - Macro Fusion with the previous instruction occurred
* - instruction micro-ops not bound to a port
^ - Micro Fusion occurred
# - ESP Tracking sync uop was issued
@ - SSE instruction followed an AVX256/AVX512 instruction, dozens of cycles penalty is expected
X - instruction not supported, was not accounted in Analysis
| Num Of | Ports pressure in cycles | |
| Uops | 0 - DV | 1 | 2 - D | 3 - D | 4 | 5 | 6 | 7 |
-----------------------------------------------------------------------------------------
| 1 | | | 0.5 0.5 | 0.5 0.5 | | | | | vmovupd xmm1, xmmword ptr [r8+rax*8]
| 2 | 0.5 | 0.5 | 0.5 0.5 | 0.5 0.5 | | | | | vfmadd213pd xmm1, xmm2, xmmword ptr [rcx+rax*8]
| 2 | | | 0.5 | 0.5 | 1.0 | | | | vmovups xmmword ptr [rcx+rax*8], xmm1
| 1* | | | | | | | | | add rax, 0x2
| 0*F | | | | | | | | | js 0xffffffffffffffe3
Total Num Of Uops: 6
IACA 声称 js 与 add 宏融合，这与 Agner 和 testp 实用程序的性能计数器不一致。见上文，v2 与 7*n/vec_size 成正比，v3 与 6*n/vec_size 成正比，我推断这意味着 js 不进行宏融合。
我认为 link 的作者除了指令数量之外还应该考虑核心周期和微指令。
如果使用以下 BMI2 内部函数，您可以节省一条指令：
__mmask8 mask = _bzhi_u32(-1, r);
而不是 __mmask8 mask = (1 << r) -1;。参见 Godbolt link。
bzhi instruction 从指定位置开始将高位置零。对于寄存器操作数，bzhi 具有 1 个周期的延迟和每个周期 2 个的吞吐量。
除了@wim 使用 _bzhi_u32 而不是 _bextr_u32 的回答之外，您还应该：
- 屏蔽最后的
_mm512_loadu_pd指令，以避免加载无效内存 ( - 在任何地方都使用 64 位整数（实际上有符号或无符号）以避免
movsxd符号扩展。这在 64 位系统上通常是一个很好的建议，除非您需要存储大量索引变量。 - 使用
i!=0而不是i<0作为循环条件以获得jne而不是js，因为这更好地与add指令配对： - 一些小事，你也可以计算
n2 = n & (-8)或n2 = n ^ r，而不是n2=n-r。不确定，这是否会产生相关差异（icc 似乎不知道或不关心这一点）。 Godbolt-Link
void daxpy2(size_t n, double a, const double x[], double y[]) {
__m512d av = _mm512_set1_pd(a);
size_t r = n&7, n2 = n & (-8);
for(size_t i=-n2; i!=0; i+=8) {
__m512d yv = _mm512_loadu_pd(&y[i+n2]);
__m512d xv = _mm512_loadu_pd(&x[i+n2]);
yv = _mm512_fmadd_pd(av, xv, yv);
_mm512_storeu_pd(&y[i+n2], yv);
}
__mmask8 mask = _bzhi_u32(-1, r);
__m512d yv = _mm512_mask_loadu_pd(_mm512_undefined_pd (), mask, &y[n2]);
__m512d xv = _mm512_mask_loadu_pd(_mm512_undefined_pd (), mask, &x[n2]);
yv = _mm512_mask_fmadd_pd(av, mask, xv, yv);
_mm512_mask_storeu_pd(&y[n2], mask, yv);
}
为了进一步减少指令的数量，您可以使用指针递增，例如，like this（但是这会增加循环内的指令）。