优化 CPU 流水线和缓存访问

Optimization of CPU pipelining and cache access

我正在尝试建立关于如何编写高效代码的直觉,以最大限度地减少 CPI(每条指令的周期数)并最大限度地减少缓存未命中和后端绑定性能。我想了解数据局部性和流水线是如何相互作用的。

我了解到很多这些东西取决于具体的硬件,无法肯定地回答。尽管如此,我还是希望对 'probably' 在 'typical' 台式计算机上会发生什么有一些合理的指导,使用使用 gcc 或 icpc 和 -O2 等通用编译器编译的程序。

考虑以下(设计的)代码。这段代码的目的是设置不同的场景来说明问题。假设缓存行是 64 字节。 (编辑)- 为了澄清,我们假设这些变量中的 none 在执行计算时位于任何级别的缓存中。一个响应正确地指出,如果已经缓存了任何内容,这将影响结果。

class MyClass {
public:
    MyClass() {};
    inline void calc(const double in);
private:
    double x,y[10],z[32],a,b;
};

inline void MyClass:calc(const double in) 
{
    x = 5 + in;
    y[0] = 10 + in;
    z[0] = 25 + in;
    a = 50 + in;
    q = 100 + in;//q is a variable from global scope that is not already in the cache
    *pq = 200 + in;//*pq is a pointer from global scope that is not already in the cache
    q2 = 300 + in;//q2 is a variable from global scope that is not already in the cache
    b = 400 + in;
    cout << x << ", " << y[0] << ", " << z[0] << ", " << a << ", " << q << ", " << *pq << ", " << q2 << "," << b;
}

当 calc 为 运行 时,x 和 y[0] 可能在同一个缓存行上,所以 y[0] 将在缓存命中时被访问? z[0] 在下一个缓存行上。但是,它可能受益于 'next cache line' 预取并且也是缓存命中? a 距离几个缓存行,然后 q 是来自全局范围的变量,位于内存中的某个远程位置。即使 a 是来自 z[0] 的几个缓存行,我们是否应该期望它比 q 更快地加载到处理器中?是否可能在更高级别的缓存中进行某种预取,这可能会防止完全缓存未命中? q 肯定需要从主内存中拉取,因为它来自内存中的远程位置。 *pq 和 q 也需要自己从主内存中提取。

所以我的预期是会发生这样的事情:y[0] 会加载 L1 缓存命中,z[0] 可能会加载 L1 或 L2 缓存命中,a 可能是也可能不是 L2 缓存命中,而 q 肯定是缓存未命中。如果 q 太远以至于它也导致 TLB 缓存未命中怎么办?那它会更慢吗?我对这一切的理解是否正确?

流水线对此有何影响?处理器可以对一系列内存加载进行流水线处理,在上一行代码完成之前将 q 从主内存带入缓存。因此,在实践中,我们是否会观察到使用变量 q 的减速,它位于内存的远程位置?

请注意 calc 是内联的,因此它的指令可能构成调用它的函数中更大的操作链的一部分,我认为这将有助于流水线化。

变量 *pq 如何影响流水线?编译器不知道 *pq 是指向 q2 还是指向 b 的指针。这会影响流水线的效率吗?

终于到了b。它与 a 在同一缓存行上。自从我们上次使用 a 以来,我们不得不做几件事,但希望它仍在 L1 缓存中并且命中?同样,指针 *pq(可能指向 b)的使用会影响此处的优化吗?

我会尽量回答你的问题。

编译器可能会将 MyClass 对象对齐超过 8 个,尤其是当它们位于静态内存中时,因此 x 和 y[0] 很可能位于同一缓存行中。大多数编译器会比小对象更多地对齐大对象。

如果MyClass对象是在本地声明的,它会被存储在栈上。在这种情况下,很可能整个对象都在 L1 缓存中。

z[0] 可能被硬件预取,但可能还不够早。

前五行可能是乱序执行的,因为它们是独立的。这意味着一行中的任何缓存未命中都不会减慢下一行。

你是对的,*pq = something 可以防止乱序执行,因为(在一般情况下)编译器不知道 *pq 是否是其他一些变量的别名。

'a' 不一定比 'q' 加载得快。例如,如果它们都在 2 级缓存中,它们的加载速度将相同。它不取决于距离,而是取决于自上次触摸以来的时间。如果两者都在主 RAM 中并且 q 很远,则 TLB 未命中或页面边界当然可能会影响获取时间。

如果 b 与 a 在同一缓存行中,则它会保持缓存状态,但在 *pq 的地址已解析并且发现不为 b 别名之前,您无法访问 b。

如果我们假设数据缓存是瓶颈,而代码缓存不是,那么内联 calc 函数在这里没有区别。