Keras 中 Adam 优化器的指数衰减学习率参数

Question

考虑以下信息：

• 初始学习率：0.0002

• 衰减系数：0.7

• ephocs: 70

我的问题是选择衰减步骤，使衰减每两个时期发生一次。我该如何在 Keras 中解决这个问题？

这是指数衰减学习率的公式：

click here to view the image

Answer 1

好像可以用ExponentialDecayLearningRateScheduler。要每两个时期衰减一次，decay_steps 应该是 num_steps_per_epoch * 2。还提供 staircase 参数作为 True 以便学习率离散衰减。

像这样（我没有运行这个代码）：

initial_learning_rate = 0.0002
steps_per_epoch = ...
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=steps_per_epoch * 2,
    decay_rate=0.7,
    staircase=True)

然后使用 learning_rate 参数将 lr_schedule 传递给 Adam。