Matmul 输入和权重矩阵顺序？

Question

我看到许多 ML 教程通过构造两个矩阵、权重矩阵和输入（或激活）矩阵来解释全连接网络，并执行矩阵到矩阵乘法 (matmul) 以形成线性方程。

我看到的所有示例都将输入作为 matmul 的第一个参数，将权重张量作为第二个参数。这是为什么？为什么我不能执行权重乘以输入（假设权重矩阵已正确创建，列数等于输入矩阵行数）？

Answer 1

要获得 (nx1) 个输出 对于 (nx1) 个输入，您应该将输入与左侧的 (nxn) 矩阵或右侧的 (1x1) 矩阵相乘。

如果将输入与标量（(1x1) 矩阵）相乘，则每个神经元从输入到输出都有一个连接。如果将它与矩阵相乘，对于每个输出单元，我们将得到输入神经元的加权和。换句话说，输入中的每个神经元连接到输出中的每个神经元，完全连接。

通过保留此逻辑，您如何安排权重矩阵并不重要。