你如何计算卷积神经网络中的偏差梯度？

How do you calculate the gradient of bias in a conolutional neural network?

我很难在网上找到有关如何利用卷积神经网络中的偏差执行反向传播的资源。我所说的偏差是指添加到卷积产生的每个数字的数字。

Here is a picture further explaining

我知道如何计算过滤器权重的梯度，但我不确定如何处理偏差。现在我只是根据该层的平均误差来调整它。这是正确的吗？

它类似于标准神经网络中的偏差梯度，但这里我们对所有梯度求和 w.r.t 卷积输出：

$\dfrac{\partial{L}}{\partial{b}} = \sum_{w} \sum_{h} \nabla Out_{wh}$

其中L是损失函数，w和h是conv输出的宽度和高度， $\nabla Out_{wh}$ 是conv输出的梯度w.r.t损失函数。

因此，b 的梯度是通过将每个位置 (w, h) 的所有卷积输出梯度求和来计算的 w.r.t 损失函数 L。

希望对您有所帮助。