优化 CPU 流水线和缓存访问
Optimization of CPU pipelining and cache access
我正在尝试建立关于如何编写高效代码的直觉，以最大限度地减少 CPI（每条指令的周期数）并最大限度地减少缓存未命中和后端绑定性能。我想了解数据局部性和流水线是如何相互作用的。
我了解到很多这些东西取决于具体的硬件，无法肯定地回答。尽管如此，我还是希望对 'probably' 在 'typical' 台式计算机上会发生什么有一些合理的指导，使用使用 gcc 或 icpc 和 -O2 等通用编译器编译的程序。
考虑以下（设计的）代码。这段代码的目的是设置不同的场景来说明问题。假设缓存行是 64 字节。 （编辑）- 为了澄清，我们假设这些变量中的 none 在执行计算时位于任何级别的缓存中。一个响应正确地指出，如果已经缓存了任何内容，这将影响结果。
class MyClass {
public:
MyClass() {};
inline void calc(const double in);
private:
double x,y[10],z[32],a,b;
};
inline void MyClass:calc(const double in)
{
x = 5 + in;
y[0] = 10 + in;
z[0] = 25 + in;
a = 50 + in;
q = 100 + in;//q is a variable from global scope that is not already in the cache
*pq = 200 + in;//*pq is a pointer from global scope that is not already in the cache
q2 = 300 + in;//q2 is a variable from global scope that is not already in the cache
b = 400 + in;
cout << x << ", " << y[0] << ", " << z[0] << ", " << a << ", " << q << ", " << *pq << ", " << q2 << "," << b;
}
当 calc 为 运行 时，x 和 y[0] 可能在同一个缓存行上，所以 y[0] 将在缓存命中时被访问？ z[0] 在下一个缓存行上。但是，它可能受益于 'next cache line' 预取并且也是缓存命中？ a 距离几个缓存行，然后 q 是来自全局范围的变量，位于内存中的某个远程位置。即使 a 是来自 z[0] 的几个缓存行，我们是否应该期望它比 q 更快地加载到处理器中？是否可能在更高级别的缓存中进行某种预取，这可能会防止完全缓存未命中？ q 肯定需要从主内存中拉取，因为它来自内存中的远程位置。 *pq 和 q 也需要自己从主内存中提取。
所以我的预期是会发生这样的事情：y[0] 会加载 L1 缓存命中，z[0] 可能会加载 L1 或 L2 缓存命中，a 可能是也可能不是 L2 缓存命中，而 q 肯定是缓存未命中。如果 q 太远以至于它也导致 TLB 缓存未命中怎么办？那它会更慢吗？我对这一切的理解是否正确？
流水线对此有何影响？处理器可以对一系列内存加载进行流水线处理，在上一行代码完成之前将 q 从主内存带入缓存。因此，在实践中，我们是否会观察到使用变量 q 的减速，它位于内存的远程位置？
请注意 calc 是内联的，因此它的指令可能构成调用它的函数中更大的操作链的一部分，我认为这将有助于流水线化。
变量 *pq 如何影响流水线？编译器不知道 *pq 是指向 q2 还是指向 b 的指针。这会影响流水线的效率吗？
终于到了b。它与 a 在同一缓存行上。自从我们上次使用 a 以来，我们不得不做几件事，但希望它仍在 L1 缓存中并且命中？同样，指针 *pq（可能指向 b）的使用会影响此处的优化吗？
我会尽量回答你的问题。
编译器可能会将 MyClass 对象对齐超过 8 个，尤其是当它们位于静态内存中时，因此 x 和 y[0] 很可能位于同一缓存行中。大多数编译器会比小对象更多地对齐大对象。
如果MyClass对象是在本地声明的，它会被存储在栈上。在这种情况下，很可能整个对象都在 L1 缓存中。
z[0] 可能被硬件预取，但可能还不够早。
前五行可能是乱序执行的，因为它们是独立的。这意味着一行中的任何缓存未命中都不会减慢下一行。
你是对的，*pq = something 可以防止乱序执行，因为（在一般情况下）编译器不知道 *pq 是否是其他一些变量的别名。
'a' 不一定比 'q' 加载得快。例如，如果它们都在 2 级缓存中，它们的加载速度将相同。它不取决于距离，而是取决于自上次触摸以来的时间。如果两者都在主 RAM 中并且 q 很远，则 TLB 未命中或页面边界当然可能会影响获取时间。
如果 b 与 a 在同一缓存行中，则它会保持缓存状态，但在 *pq 的地址已解析并且发现不为 b 别名之前，您无法访问 b。
如果我们假设数据缓存是瓶颈，而代码缓存不是，那么内联 calc 函数在这里没有区别。
我正在尝试建立关于如何编写高效代码的直觉，以最大限度地减少 CPI（每条指令的周期数）并最大限度地减少缓存未命中和后端绑定性能。我想了解数据局部性和流水线是如何相互作用的。
我了解到很多这些东西取决于具体的硬件，无法肯定地回答。尽管如此，我还是希望对 'probably' 在 'typical' 台式计算机上会发生什么有一些合理的指导，使用使用 gcc 或 icpc 和 -O2 等通用编译器编译的程序。
考虑以下（设计的）代码。这段代码的目的是设置不同的场景来说明问题。假设缓存行是 64 字节。 （编辑）- 为了澄清，我们假设这些变量中的 none 在执行计算时位于任何级别的缓存中。一个响应正确地指出，如果已经缓存了任何内容，这将影响结果。
class MyClass {
public:
MyClass() {};
inline void calc(const double in);
private:
double x,y[10],z[32],a,b;
};
inline void MyClass:calc(const double in)
{
x = 5 + in;
y[0] = 10 + in;
z[0] = 25 + in;
a = 50 + in;
q = 100 + in;//q is a variable from global scope that is not already in the cache
*pq = 200 + in;//*pq is a pointer from global scope that is not already in the cache
q2 = 300 + in;//q2 is a variable from global scope that is not already in the cache
b = 400 + in;
cout << x << ", " << y[0] << ", " << z[0] << ", " << a << ", " << q << ", " << *pq << ", " << q2 << "," << b;
}
当 calc 为 运行 时，x 和 y[0] 可能在同一个缓存行上，所以 y[0] 将在缓存命中时被访问？ z[0] 在下一个缓存行上。但是，它可能受益于 'next cache line' 预取并且也是缓存命中？ a 距离几个缓存行，然后 q 是来自全局范围的变量，位于内存中的某个远程位置。即使 a 是来自 z[0] 的几个缓存行，我们是否应该期望它比 q 更快地加载到处理器中？是否可能在更高级别的缓存中进行某种预取，这可能会防止完全缓存未命中？ q 肯定需要从主内存中拉取，因为它来自内存中的远程位置。 *pq 和 q 也需要自己从主内存中提取。
所以我的预期是会发生这样的事情：y[0] 会加载 L1 缓存命中，z[0] 可能会加载 L1 或 L2 缓存命中，a 可能是也可能不是 L2 缓存命中，而 q 肯定是缓存未命中。如果 q 太远以至于它也导致 TLB 缓存未命中怎么办？那它会更慢吗？我对这一切的理解是否正确？
流水线对此有何影响？处理器可以对一系列内存加载进行流水线处理，在上一行代码完成之前将 q 从主内存带入缓存。因此，在实践中，我们是否会观察到使用变量 q 的减速，它位于内存的远程位置？
请注意 calc 是内联的，因此它的指令可能构成调用它的函数中更大的操作链的一部分，我认为这将有助于流水线化。
变量 *pq 如何影响流水线？编译器不知道 *pq 是指向 q2 还是指向 b 的指针。这会影响流水线的效率吗？
终于到了b。它与 a 在同一缓存行上。自从我们上次使用 a 以来，我们不得不做几件事，但希望它仍在 L1 缓存中并且命中？同样，指针 *pq（可能指向 b）的使用会影响此处的优化吗？
我会尽量回答你的问题。
编译器可能会将 MyClass 对象对齐超过 8 个，尤其是当它们位于静态内存中时，因此 x 和 y[0] 很可能位于同一缓存行中。大多数编译器会比小对象更多地对齐大对象。
如果MyClass对象是在本地声明的，它会被存储在栈上。在这种情况下，很可能整个对象都在 L1 缓存中。
z[0] 可能被硬件预取，但可能还不够早。
前五行可能是乱序执行的，因为它们是独立的。这意味着一行中的任何缓存未命中都不会减慢下一行。
你是对的，*pq = something 可以防止乱序执行，因为（在一般情况下）编译器不知道 *pq 是否是其他一些变量的别名。
'a' 不一定比 'q' 加载得快。例如，如果它们都在 2 级缓存中，它们的加载速度将相同。它不取决于距离，而是取决于自上次触摸以来的时间。如果两者都在主 RAM 中并且 q 很远，则 TLB 未命中或页面边界当然可能会影响获取时间。
如果 b 与 a 在同一缓存行中，则它会保持缓存状态，但在 *pq 的地址已解析并且发现不为 b 别名之前，您无法访问 b。
如果我们假设数据缓存是瓶颈，而代码缓存不是，那么内联 calc 函数在这里没有区别。