在 Pytorch 中设置恒定的学习率
Setting constant learning rates in Pytorch
我正在使用 Adam 优化器通过 pytorch 优化 lstm 网络。我感觉我的学习率下降得太快了，但我什至不能 100% 确定 Adam 是否会那样做，因为我找不到好的文档。如果 Adam 默认衰减学习率，有没有办法关闭它并设置一个恒定的学习率？
“我找不到好的文档”- 您可以阅读 the original paper, for example. Also, the documentation is here: https://pytorch.org/docs/stable/generated/torch.optim.Adam.html。
如果“学习率”是指 torch.optim.Adam 的 lr 参数，那么它保持不变 - Adam 本身不会修改它，与 learning-rate schedulers 形成对比。但是，Adam 对梯度应用了额外的缩放，因此学习率应用于梯度的这种变换，而不是梯度本身。这无法关闭，因为这是算法的本质。如果您想将学习率直接应用于梯度，请使用随机梯度下降。
我正在使用 Adam 优化器通过 pytorch 优化 lstm 网络。我感觉我的学习率下降得太快了，但我什至不能 100% 确定 Adam 是否会那样做，因为我找不到好的文档。如果 Adam 默认衰减学习率，有没有办法关闭它并设置一个恒定的学习率？
“我找不到好的文档”- 您可以阅读 the original paper, for example. Also, the documentation is here: https://pytorch.org/docs/stable/generated/torch.optim.Adam.html。
如果“学习率”是指 torch.optim.Adam 的 lr 参数，那么它保持不变 - Adam 本身不会修改它，与 learning-rate schedulers 形成对比。但是，Adam 对梯度应用了额外的缩放，因此学习率应用于梯度的这种变换，而不是梯度本身。这无法关闭，因为这是算法的本质。如果您想将学习率直接应用于梯度，请使用随机梯度下降。