我们如何定义神经网络中的不良学习率？

How do we define the bad learning rate in neural network?

我正在尝试定义神经网络中不良学习率的正确定义，如下所示：

神经网络中的不良学习率是指您指定的学习率太低或太高，学习率太低网络会花费太多时间来训练，但学习率太高网络也会发生变化快速这可能会导致输出。

如有任何建议，我们将不胜感激。

我认为有效的学习率 (alpha) 取决于数据。关于低效的学习率，你提到的观点是绝对正确的。因此，selecting alpha 没有硬性规定。让我列举一下我在决定 alpha 时采取的步骤：

你显然需要一个大的 alpha，这样你的模型才能快速学习
另请注意，较大的 alpha 会导致超过最小值，因此您的假设不会收敛
要解决这个问题，您可以学习率衰减。当您接近最小值并减慢学习速度时，这会降低您的学习率，这样您的模型就不会超调。

有几种方法可以做到这一点：

步进衰减
指数衰减
线性衰减

您也可以 select 然后训练您的模型。话虽如此，但我要指出的是，在获得最佳结果之前，您仍然需要反复试验。