列表外积的numpy方式

Question

我正在尝试对 60000x100 矩阵的外积进行归一化求和。我想用 numpy 的方式来做，因为我的解决方案受到列表理解中的 python for 循环的限制：

def covariance_over_time(X):
    B = np.sum(np.array([np.outer(x, x) for x in X]),axis=0)              
    B = np.true_divide(B, len(X))
    return B

请注意，即使此解决方案有效，它也是单线程的，因此当 X 有 60000 行和 100 列时速度非常慢。

我尝试过其他方法，如此处所述 on Whosebug。 link 中发布的答案适用于小矩阵，在几秒钟错误后给我记忆。你知道为什么吗？（注意：我有 6 TeraByte 的 RAM，所以我不太可能有内存问题，因为我根本看不到内存使用量在增长！）

Answer 1

您可以简单地使用 matrix-multiplication 使用 np.dot -

B = X.T.dot(X)

然后，用np.true_divide(B, len(X))归一化。

内存优化解决方案

如果您仍然遇到内存错误，我们还有两个 options/methods。

我。完整的循环解决方案

我们可以遍历 X 的第二个轴（列），并使用两个循环在每一列之间对每一列执行矩阵乘法。现在，X 只有 100 列，因此，一个完整的循环解决方案只会迭代 100X100 = 10000 次，并且在每次迭代时执行 60000（[= 中的行数16=]) 总和减少。

n = X.shape[1]
out = np.empty((n,n),dtype=X.dtype)
for i in range(n):
    for j in range(n):
        out[i,j] = X[:,i].dot(X[:,j])

二．混合解决方案

在开始时列出的完整循环解决方案和完全矢量化解决方案之间的组合将使用一个循环，该循环将在每个列与整个数组之间执行矩阵乘法。这将在每次迭代时进行 60000X100=6000000 总和减少。

n = X.shape[1]
out = np.empty((n,n),dtype=X.dtype)
for i in range(n):
    out[i] = X[:,i].dot(X)

列表外积的numpy方式

numpy way of doing outer product of list

python

numpy

array-broadcasting

内存优化解决方案