MLP 中的 Theano 批量学习，偏差形状
Theano batch learning in MLP, shape of bias
我对此感到困惑。假设我有一个权重矩阵 W(10,20)。这需要一个 20 维的输入向量（比如 X）。所以，dot(W,X) 将是 (10,1)，我可以为此添加一个 10 维偏置向量。
现在想做批量学习。是否可以乘以一批输入向量（30 个向量），使 X 现在是（20,30），然后点（W，X）将是（10,30）。但是偏见呢？我应该如何调整偏差？
我假设所有 30 个输入向量的偏差都相同。如果不是这种情况，请告诉我。
将您的 (10,30) 矩阵视为 30 个 10 维结果向量的集合。它们是独立的，只是排列成一个矩阵以便于处理。
如果要将 10 维偏置向量添加到 30 个结果向量中，只需将 10 维偏置向量复制 30 次到 (10,30) 偏置矩阵中即可。
然后，添加矩阵将与将偏差向量添加到每个 30 个 10 维结果 vectos
你可以乘以
<vertical bias vector> <outer/tensor product> <horizontal vector, filled with 30 ones>
我对此感到困惑。假设我有一个权重矩阵 W(10,20)。这需要一个 20 维的输入向量（比如 X）。所以，dot(W,X) 将是 (10,1)，我可以为此添加一个 10 维偏置向量。
现在想做批量学习。是否可以乘以一批输入向量（30 个向量），使 X 现在是（20,30），然后点（W，X）将是（10,30）。但是偏见呢？我应该如何调整偏差？
我假设所有 30 个输入向量的偏差都相同。如果不是这种情况，请告诉我。
将您的 (10,30) 矩阵视为 30 个 10 维结果向量的集合。它们是独立的，只是排列成一个矩阵以便于处理。
如果要将 10 维偏置向量添加到 30 个结果向量中，只需将 10 维偏置向量复制 30 次到 (10,30) 偏置矩阵中即可。 然后，添加矩阵将与将偏差向量添加到每个 30 个 10 维结果 vectos
你可以乘以
<vertical bias vector> <outer/tensor product> <horizontal vector, filled with 30 ones>