在 C/C++ 中在特定地址边界上对齐内存是否仍会提高 x86 性能？
Does aligning memory on particular address boundaries in C/C++ still improve x86 performance?
许多低延迟开发指南都讨论了在特定地址边界上对齐内存分配：
https://github.com/real-logic/simple-binary-encoding/wiki/Design-Principles#word-aligned-access
http://www.alexonlinux.com/aligned-vs-unaligned-memory-access
然而，第二个 link 是 2008 年的。在地址边界上对齐内存是否仍然会在 2019 年提供 Intel CPU 的性能改进？我认为 Intel CPU 不会再导致访问未对齐地址的延迟损失？如果不是，应该在什么情况下这样做？我应该对齐每个堆栈变量吗？ Class成员变量?
有没有人举出通过对齐内存显着提高性能的示例？
惩罚通常很小，但在 Skylake 之前跨越 Intel CPU 上的 4k 页面边界会有很大的惩罚（~150 个周期）。 有一些关于跨越高速缓存行边界或 4k 边界的实际影响的详细信息。 （即使加载/存储在一个 2M 或 1G 的大页面内，这也适用，因为硬件直到它开始两次检查 TLB 的过程后才能知道这一点。）例如在 double 的数组中只有 4 字节对齐，在页面边界处会有一个 double 在两个 4k 页面上平均分割。每个缓存行边界都相同。
不跨越 4k 页面的常规高速缓存行拆分在 Intel 上花费了大约 6 个额外的延迟周期（Skylake 上总共为 11c，而正常的 L1d 命中为 4 或 5c），并且需要额外的吞吐量（这在通常每个时钟维持近 2 个负载的代码中可能很重要。）
不跨越 64 字节高速缓存行边界的错位对 Intel 的惩罚为零。在 AMD 上，高速缓存行仍然是 64 字节，但在 32 字节的高速缓存行内有相关边界，在某些 CPU 上可能是 16 字节。
Should I align every stack variable?
不，编译器已经为您完成了。 x86-64 调用约定保持 16 字节堆栈对齐，因此它们可以免费获得任何对齐，包括 8 字节 int64_t 和 double 数组。
还要记住，大多数局部变量在它们被大量使用的大部分时间里都保存在寄存器中。除非一个变量是 volatile，或者你在没有优化的情况下编译，该值不必在访问之间存储/重新加载。
正常 ABIs 还需要所有原始类型的自然对齐（与其大小对齐），因此即使在结构内部等你也会得到对齐，并且单个原始类型永远不会跨越缓存- 线边界。 （例外：i386 System V 只需要 int64_t 和 double 的 4 字节对齐。在结构之外，编译器会选择给它们更多对齐，但在结构内部它不能改变布局规则。因此，按照将 8 字节成员放在首位的顺序声明您的结构，或者至少布局以使它们获得 8 字节对齐。如果您关心 32 位代码，则可以在此类结构成员上使用 alignas(8)，如果还没有任何成员需要那么多对齐。）
x86-64 System V ABI（所有非Windows 平台）要求 将数组按 16 对齐，如果它们在结构之外具有自动或静态存储。 maxalign_t 在 x86-64 SysV 上是 16，所以 malloc / new return 用于动态分配的 16 字节对齐内存。 gcc targeting Windows 如果它在该函数中对堆栈数组进行自动矢量化，它也会对齐堆栈数组。
(如果你通过违反 ABI 的对齐要求导致未定义的行为，它通常不会使任何性能不同。它通常不会导致 x86 的正确性问题，但它可能导致 SIMD 类型的错误， 以及标量类型的自动矢量化 。例如 。因此，如果您故意不对齐数据，请确保不要使用任何宽度大于 char* 的指针访问它。
例如使用 memcpy(&tmp, buf, 8) 和 uint64_t tmp 进行未对齐加载。 gcc 可以自动矢量化，IIRC。）
如果您在启用 AVX 或 AVX512 的情况下编译，您有时可能希望 alignas(32) 或 64 用于大型数组。对于大数组（不适合 L2 或 L1d 缓存）的 SIMD 循环，使用 AVX/AVX2（32 字节向量）确保它在 Intel [= 上按 32 对齐通常几乎为零65=]。来自 L3 或 DRAM 的数据中的内存瓶颈会给内核的 load/store 单元和 L1d 缓存时间以在引擎盖下进行多次访问，即使每隔一个 load/store 跨越缓存行边界。
但是对于 Skylake-server 上的 AVX512，实际上对数组的 64 字节对齐有显着影响，即使数组来自 L3 缓存或 DRAM .我忘记了细节，自从我看过一个例子以来已经有一段时间了，但即使是内存绑定循环也可能有 10% 到 15%？ 每个 64 字节向量加载和存储如果未对齐，将跨越 64 字节缓存行边界。
根据循环，您可以通过执行第一个可能未对齐的向量来处理对齐不足的输入，然后循环对齐的向量直到最后一个对齐的向量。到达数组末尾的另一个可能重叠的向量可以处理最后几个字节。这对于复制和处理循环非常有用，在这种循环中可以重新复制和重新处理重叠中的相同元素，但还有其他技术可用于其他情况，例如标量循环到对齐边界、较窄的矢量或掩蔽。如果您的编译器是自动矢量化的，则由编译器选择。如果您使用内在函数手动矢量化，则您必须/必须做出选择。如果数组通常是对齐的，最好只使用未对齐的加载（如果指针在运行时对齐，则不会有任何损失），并让硬件处理罕见的未对齐输入情况，这样您就没有任何软件开销对齐输入。
当然有惩罚，
您必须在字边框上对齐 struts 成员才能最大化
许多低延迟开发指南都讨论了在特定地址边界上对齐内存分配：
https://github.com/real-logic/simple-binary-encoding/wiki/Design-Principles#word-aligned-access
http://www.alexonlinux.com/aligned-vs-unaligned-memory-access
然而，第二个 link 是 2008 年的。在地址边界上对齐内存是否仍然会在 2019 年提供 Intel CPU 的性能改进？我认为 Intel CPU 不会再导致访问未对齐地址的延迟损失？如果不是，应该在什么情况下这样做？我应该对齐每个堆栈变量吗？ Class成员变量?
有没有人举出通过对齐内存显着提高性能的示例？
惩罚通常很小，但在 Skylake 之前跨越 Intel CPU 上的 4k 页面边界会有很大的惩罚（~150 个周期）。 double 的数组中只有 4 字节对齐，在页面边界处会有一个 double 在两个 4k 页面上平均分割。每个缓存行边界都相同。
不跨越 4k 页面的常规高速缓存行拆分在 Intel 上花费了大约 6 个额外的延迟周期（Skylake 上总共为 11c，而正常的 L1d 命中为 4 或 5c），并且需要额外的吞吐量（这在通常每个时钟维持近 2 个负载的代码中可能很重要。）
不跨越 64 字节高速缓存行边界的错位对 Intel 的惩罚为零。在 AMD 上，高速缓存行仍然是 64 字节，但在 32 字节的高速缓存行内有相关边界，在某些 CPU 上可能是 16 字节。
Should I align every stack variable?
不，编译器已经为您完成了。 x86-64 调用约定保持 16 字节堆栈对齐，因此它们可以免费获得任何对齐，包括 8 字节 int64_t 和 double 数组。
还要记住，大多数局部变量在它们被大量使用的大部分时间里都保存在寄存器中。除非一个变量是 volatile，或者你在没有优化的情况下编译，该值不必在访问之间存储/重新加载。
正常 ABIs 还需要所有原始类型的自然对齐（与其大小对齐），因此即使在结构内部等你也会得到对齐，并且单个原始类型永远不会跨越缓存- 线边界。 （例外：i386 System V 只需要 int64_t 和 double 的 4 字节对齐。在结构之外，编译器会选择给它们更多对齐，但在结构内部它不能改变布局规则。因此，按照将 8 字节成员放在首位的顺序声明您的结构，或者至少布局以使它们获得 8 字节对齐。如果您关心 32 位代码，则可以在此类结构成员上使用 alignas(8)，如果还没有任何成员需要那么多对齐。）
x86-64 System V ABI（所有非Windows 平台）要求 将数组按 16 对齐，如果它们在结构之外具有自动或静态存储。 maxalign_t 在 x86-64 SysV 上是 16，所以 malloc / new return 用于动态分配的 16 字节对齐内存。 gcc targeting Windows 如果它在该函数中对堆栈数组进行自动矢量化，它也会对齐堆栈数组。
(如果你通过违反 ABI 的对齐要求导致未定义的行为，它通常不会使任何性能不同。它通常不会导致 x86 的正确性问题，但它可能导致 SIMD 类型的错误， 以及标量类型的自动矢量化 。例如 char* 的指针访问它。
例如使用 memcpy(&tmp, buf, 8) 和 uint64_t tmp 进行未对齐加载。 gcc 可以自动矢量化，IIRC。）
如果您在启用 AVX 或 AVX512 的情况下编译，您有时可能希望 alignas(32) 或 64 用于大型数组。对于大数组（不适合 L2 或 L1d 缓存）的 SIMD 循环，使用 AVX/AVX2（32 字节向量）确保它在 Intel [= 上按 32 对齐通常几乎为零65=]。来自 L3 或 DRAM 的数据中的内存瓶颈会给内核的 load/store 单元和 L1d 缓存时间以在引擎盖下进行多次访问，即使每隔一个 load/store 跨越缓存行边界。
但是对于 Skylake-server 上的 AVX512，实际上对数组的 64 字节对齐有显着影响，即使数组来自 L3 缓存或 DRAM .我忘记了细节，自从我看过一个例子以来已经有一段时间了，但即使是内存绑定循环也可能有 10% 到 15%？ 每个 64 字节向量加载和存储如果未对齐，将跨越 64 字节缓存行边界。
根据循环，您可以通过执行第一个可能未对齐的向量来处理对齐不足的输入，然后循环对齐的向量直到最后一个对齐的向量。到达数组末尾的另一个可能重叠的向量可以处理最后几个字节。这对于复制和处理循环非常有用，在这种循环中可以重新复制和重新处理重叠中的相同元素，但还有其他技术可用于其他情况，例如标量循环到对齐边界、较窄的矢量或掩蔽。如果您的编译器是自动矢量化的，则由编译器选择。如果您使用内在函数手动矢量化，则您必须/必须做出选择。如果数组通常是对齐的，最好只使用未对齐的加载（如果指针在运行时对齐，则不会有任何损失），并让硬件处理罕见的未对齐输入情况，这样您就没有任何软件开销对齐输入。
当然有惩罚， 您必须在字边框上对齐 struts 成员才能最大化