何时使用学习率查找器

Question

正在阅读论文' 训练神经网络的循环学习率 https://arxiv.org/abs/1506.01186

如果模型过拟合，使用学习率查找器是否有意义？除了减少模型过度拟合之前的迭代次数之外，使用学习查找器可以防止过度拟合？

看论文没有提到这种减少过拟合的方法，我的解释对吗？

Answer 1

我认为改变学习率不会减少过拟合。为避免过度拟合，您可能需要使用 L1/L2 正则化和丢弃或其某些变体。