关于何时在 Matlab 中使用矩阵乘法、sum() 或 for 循环的良好经验法则？

Question

我正在尝试开发用于将方程式转换为代码 的通用启发式方法。这个特定的问题解决了如何在 Matlab 中使用 summation 函数实现方程。

使用 sum() 与矩阵乘法的示例：

我实现了这个等式，并认为我需要使用 sum() 函数：

J = 1/(2*m) * sum( (X*theta - y).^2 );

然后我实现了这个类似的等式，而不需要使用 sum() 函数！

theta = theta - (alpha/m) * ((X*theta - y)'*X)';

其中：

X: 100x2 (training input plus a 'ones' vector)
y: 100x1 (training output) 
theta:  2x1 (parameters)
m: 100 (length of y)
alpha: 0.01 (learning rate)

Matlab的矩阵乘法"handles"求和时的原理是什么？

谢谢！

Answer 1

始终使用矩阵乘法或任何处理线性代数上下文中的矩阵或向量的方法。具体来说，如果您可以使用线性代数（矩阵的加法、减法、乘法等的组合）来计算您需要计算的任何东西，那么就去做吧。创建 MATLAB 的原因是尽可能快地使用线性代数执行运算。使用 sum 肯定会更慢。例如，看看这个 post：fast matrix multiplication in Matlab

此 post 还提供了见解：Matlab matrix multiplication speed。 MATLAB 也执行此多线程操作，并针对多核进行了大量优化。

如果您想进行测试，让我们处理更简单的情况（等式 1），我们可以看到您可以使用 sum 或矩阵乘法来计算此数量。您还可以使用矩阵乘法计算 J：

d = X*theta - y;
J = 1/(2*m)*(d.'*d);

上面使用点积的定义来计算平方差和，可以使用矩阵乘法计算，其中 X*theta - y 被视为 m x 1 矩阵。综上所述，您具体计算的是线性回归的成本函数，该成本函数将通过梯度下降最小化。让我们为 theta 创建一个相当大的参数向量为 100 x 1，并为 10000000 x 100 创建一个数据矩阵，其中我们有 1000 万个数据点和 100 个参数。我的机器上有很多 RAM，因此您可能无法运行此测试。我还将把这些都初始化为随机数并设置种子以确保可重复性。让我们使用 timeit 看看这两个需要多长时间。这是我写的一个测试函数：

function test_grad

rng(123);
theta = rand(100,1);
X = rand(1e7, 100);
y = rand(1e7, 1);
m = size(X, 1);

    function test1
    out = 1/(2*m) * sum( (X*theta - y).^2 );
    end

    function test2
    d = X*theta - y;
    out = 1/(2*m)*(d.'*d);
    end

t1 = timeit(@test1);
t2 = timeit(@test2);
fprintf('The timing for sum: %f seconds\n', t1);
fprintf('The timing for matrix multiplication: %f seconds\n', t2);
end

当您在 MATLAB 中运行此函数时，它会在使用 sum 和使用矩阵乘法之间进行大量测试。

这是我在运行这个函数时得到的结果。我在配备 i7 Intel Core 2.3 GHz 的 MacBook Pro 上有 16 GB RAM CPU:

>> test_grad
The timing for sum: 0.594337 seconds
The timing for matrix multiplication: 0.393643 seconds

如您所见，矩阵乘法（至少在我的机器上）对于每个运行和 timeit 平均有 0.2 秒的差异。

tl;dr：如果你会用矩阵乘法，就用吧。这是您获得代码的最快速度运行ning。

关于何时在 Matlab 中使用矩阵乘法、sum() 或 for 循环的良好经验法则？

Good rules of thumb for when to use matrix multiplication, sum(), or for loop in Matlab?

matlab

matrix

gradient-descent