神经网络反向传播权重变化对预测的影响

Question

我试图了解神经网络如何通过学习不同的 input/output 模式来预测不同的输出。我知道权重变化是学习的模式......但是如果输入导致权重调整在反向传播算法中实现特定的输出。当出现一组不同的输入模式时，这些知识（权重更新）不会被敲掉吗……从而使网络忘记它之前学到的东西……

Answer 1

避免"destroying"网络当前知识的关键是将学习率设置为足够低的值。

让我们看一下感知器的数学原理：

学习率始终指定为 < 1。这会强制反向传播算法向正确设置迈出许多小步，而不是大步跳跃。步骤越小，越容易"jitter"将权重值设置为完美。

另一方面，如果使用学习率 = 1，我们可能会开始遇到您提到的收敛问题。高学习率意味着反向传播应该总是更愿意满足当前观察到的输入模式。

不幸的是，尝试将学习率调整到 "perfect value" 与其说是科学，不如说是一门艺术。当然也有自适应学习率值的实现，参考这个tutorial from Willamette University。就个人而言，我刚刚使用了 [0.03, 0.1] 范围内的静态学习率。