您究竟如何计算卷积神经网络中过滤器的梯度？
How exactly do you compute the gradients for the filters in a convolutional neural network?
我从几篇文章中了解到，要计算过滤器的梯度，只需将输入量作为输入，将误差矩阵作为内核进行卷积即可。之后，您只需将过滤器权重减去梯度（乘以学习率）。我实施了这个过程，但它不起作用。
我什至尝试自己用笔和纸进行反向传播过程，但我计算的梯度并没有使过滤器的性能更好。那我是不是理解错了整个过程？
编辑：
我将提供一个例子来说明我对 CNN 反向传播及其问题的理解。
考虑一个卷积层的随机输入矩阵：
1, 0, 1
0, 0, 1
1、0、0
和一个随机权重矩阵：
1, 0
0, 1
输出将是（应用 ReLU 激活器）：
1, 1
0, 0
这一层的目标是一个用零填充的 2x2 矩阵。这样，我们知道权重矩阵也应该用零填充。
错误：
-1, -1
0, 0
通过应用上述过程，梯度为：
-1, -1
1, 0
所以新的权重矩阵是：
2, 1
-1, 1
这没有任何进展。如果我重复这个过程，过滤器权重就会达到极高的值。所以我一定是在某个地方犯了错误。那我做错了什么？
我会给你一个完整的例子，不会很短，但希望你能明白。为了简单起见，我省略了偏差和激活函数，但是一旦你掌握了它，添加它们也很简单。请记住，CNN 中的反向传播与简单的 MLP 中的反向传播本质上是相同的，但不是乘法，而是卷积。所以，这是我的示例：
输入：
.7 -.3 -.7 .5
.9 -.5 -.2 .9
-.1 .8 -.3 -.5
0 .2 -.1 .6
内核：
.1 -.3
-.5 .7
进行卷积产生（第一个卷积层的结果，以及第二个卷积层的输入）：
.32 .27 -.59
.99 -.52 -.55
-.45 .64 .13
L2 内核：
-.5 .1
.3 .9
L2 激活：
.73 .29
.37 -.63
在这里，您将有一个展平层和一个标准的 MLP 或 SVM 来进行实际的分类。在反向传播期间，您将收到一个增量，为了好玩，我们假设如下：
-.07 .15
-.09 .02
这将始终与展平层之前的激活大小相同。现在，要计算当前 L2 的内核增量，您需要将 L1 的激活与上述增量进行卷积。我不会再写下来，但结果将是：
.17 .02
-.05 .13
更新内核的方式为L2.Kernel -= LR * ROT180(dL2.K)，这意味着您首先旋转上面的 2x2 矩阵，然后更新内核。这对于我们的玩具示例来说是：
-.51 .11
.3 .9
现在，要计算第一个卷积层的增量，回想一下在 MLP 中您有以下内容：current_delta * current_weight_matrix。那么在 Conv 层中，你几乎拥有相同的东西。您必须将 L2 层的原始内核（更新前）与当前层的增量进行卷积。但是这个卷积将是一个完整的卷积。结果是：
.04 -.08 .02
.02 -.13 .14
-.03 -.08 .01
有了这个，您将进入第一个卷积层，并将原始输入与这个 3x3 增量进行卷积：
.16 .03
-.09 .16
并按照上述方式更新您的 L1 内核：
.08 -.29
-.5 .68
那你就可以从前馈开始了。上述计算四舍五入到小数点后两位，并使用 .1 的学习率计算新的内核值。
TLDR：
你得到一个增量
您计算将用于下一层的下一个增量为：FullConvolution(Li.Input, delta)
计算用于更新内核的内核增量：Convolution(Li.W, delta)
转到下一层并重复。
我从几篇文章中了解到，要计算过滤器的梯度，只需将输入量作为输入，将误差矩阵作为内核进行卷积即可。之后，您只需将过滤器权重减去梯度（乘以学习率）。我实施了这个过程，但它不起作用。
我什至尝试自己用笔和纸进行反向传播过程，但我计算的梯度并没有使过滤器的性能更好。那我是不是理解错了整个过程？
编辑： 我将提供一个例子来说明我对 CNN 反向传播及其问题的理解。
考虑一个卷积层的随机输入矩阵：
1, 0, 1
0, 0, 1
1、0、0
和一个随机权重矩阵：
1, 0
0, 1
输出将是（应用 ReLU 激活器）：
1, 1
0, 0
这一层的目标是一个用零填充的 2x2 矩阵。这样，我们知道权重矩阵也应该用零填充。
错误：
-1, -1
0, 0
通过应用上述过程，梯度为：
-1, -1
1, 0
所以新的权重矩阵是：
2, 1
-1, 1
这没有任何进展。如果我重复这个过程，过滤器权重就会达到极高的值。所以我一定是在某个地方犯了错误。那我做错了什么？
我会给你一个完整的例子，不会很短，但希望你能明白。为了简单起见，我省略了偏差和激活函数，但是一旦你掌握了它，添加它们也很简单。请记住，CNN 中的反向传播与简单的 MLP 中的反向传播本质上是相同的，但不是乘法，而是卷积。所以，这是我的示例：
输入：
.7 -.3 -.7 .5
.9 -.5 -.2 .9
-.1 .8 -.3 -.5
0 .2 -.1 .6
内核：
.1 -.3
-.5 .7
进行卷积产生（第一个卷积层的结果，以及第二个卷积层的输入）：
.32 .27 -.59
.99 -.52 -.55
-.45 .64 .13
L2 内核：
-.5 .1
.3 .9
L2 激活：
.73 .29
.37 -.63
在这里，您将有一个展平层和一个标准的 MLP 或 SVM 来进行实际的分类。在反向传播期间，您将收到一个增量，为了好玩，我们假设如下：
-.07 .15
-.09 .02
这将始终与展平层之前的激活大小相同。现在，要计算当前 L2 的内核增量，您需要将 L1 的激活与上述增量进行卷积。我不会再写下来，但结果将是：
.17 .02
-.05 .13
更新内核的方式为L2.Kernel -= LR * ROT180(dL2.K)，这意味着您首先旋转上面的 2x2 矩阵，然后更新内核。这对于我们的玩具示例来说是：
-.51 .11
.3 .9
现在，要计算第一个卷积层的增量，回想一下在 MLP 中您有以下内容：current_delta * current_weight_matrix。那么在 Conv 层中，你几乎拥有相同的东西。您必须将 L2 层的原始内核（更新前）与当前层的增量进行卷积。但是这个卷积将是一个完整的卷积。结果是：
.04 -.08 .02
.02 -.13 .14
-.03 -.08 .01
有了这个，您将进入第一个卷积层，并将原始输入与这个 3x3 增量进行卷积：
.16 .03
-.09 .16
并按照上述方式更新您的 L1 内核：
.08 -.29
-.5 .68
那你就可以从前馈开始了。上述计算四舍五入到小数点后两位，并使用 .1 的学习率计算新的内核值。
TLDR：
你得到一个增量
您计算将用于下一层的下一个增量为：FullConvolution(Li.Input, delta)
计算用于更新内核的内核增量：Convolution(Li.W, delta)
转到下一层并重复。