在神经网络中的哪里添加辍学？

Question

我在神经网络的不同部分看到了关于 dropout 的描述：

1. 权重矩阵中的dropout，

2. 隐藏层在矩阵乘法后relu前dropout，

3. relu后隐藏层dropout，

4. 并在 softmax 函数之前的输出分数中丢失

我对应该在哪里执行 dropout 感到有点困惑。有人可以帮忙详细说明一下吗？谢谢！

Answer 1

所以：

1. 您描述的第一个用法称为权重上的丢失。
2. 您描述的第二个和第三个用法是相同的，它们通常被描述为激活时丢失。人们可能很容易注意到，当关闭整行（或列 - 取决于实现）时，它可能以 权重丢失 的形式表示。
3. 在第 4 种情况下，它不是 dropout 的正确用法 - 你想在其上使用 dropout 的层是一个输出层 - 所以在那里使用 dropout 不是最好的主意。