如何select更正学习率乘数的值？
How to select correct value of learning rate multiplier?
我想通过 运行 几个时期的模型手动 select 校正使用 Pytorch 的图像分类问题中的学习率。我已经使用 LR 调度程序来降低学习率，并且还在优化器参数组中操纵了学习率，但我看不到损失有任何变化。
调整学习率并找到 "the one" 可能非常繁琐且耗时。
幸运的是，您不是第一个被这个问题困扰的人，有几种方法可以更系统地调整学习率。
仅举出其中两种方法：
- Hyper-gradient descent - 将学习率视为一个参数，"learning" 也是如此。
- Cyclical learning rates - 搜索区间内的 "optimal" 学习率。
请看这个。它可能会给你一些见解。
LR Finder fastai
我想通过 运行 几个时期的模型手动 select 校正使用 Pytorch 的图像分类问题中的学习率。我已经使用 LR 调度程序来降低学习率，并且还在优化器参数组中操纵了学习率，但我看不到损失有任何变化。
调整学习率并找到 "the one" 可能非常繁琐且耗时。
幸运的是，您不是第一个被这个问题困扰的人，有几种方法可以更系统地调整学习率。
仅举出其中两种方法：
- Hyper-gradient descent - 将学习率视为一个参数，"learning" 也是如此。
- Cyclical learning rates - 搜索区间内的 "optimal" 学习率。
请看这个。它可能会给你一些见解。 LR Finder fastai