从 <tensorflow.python.keras.optimizer_v2.learning_rate_schedule.CosineDecay> 对象获取学习率
Get Learning Rate from <tensorflow.python.keras.optimizer_v2.learning_rate_schedule.CosineDecay> Object
如何获取每个 on_train_batch_begin
更新的学习率值?
lr_decayed_fn = tf.keras.experimental.CosineDecay(initial_lr, decay_steps)
model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=lr_decayed_fn))
我这样试过
def on_train_batch_begin (self, batch, logs = None):
lr = K.get_value(self.model.optimizer.lr)
但我得到 <tensorflow.python.keras.optimizer_v2.learning_rate_schedule.CosineDecay object at 0x7f ...>
当您将函数设置为学习率或对象子类时 LearningRateScheduler
,您需要使用当前训练步骤调用该函数(或 Callable)以获得学习率。您可以使用优化器的 iterations
属性获取当前训练步骤。
class CustomCallback(tf.keras.callbacks.Callback):
def __init__(self) -> None:
super().__init__()
def on_train_batch_begin(self, batch, logs=None):
lr = tf.keras.backend.get_value(
self.model.optimizer.lr(self.model.optimizer.iterations)
)
如何获取每个 on_train_batch_begin
更新的学习率值?
lr_decayed_fn = tf.keras.experimental.CosineDecay(initial_lr, decay_steps)
model.compile(optimizer=tf.keras.optimizers.SGD(learning_rate=lr_decayed_fn))
我这样试过
def on_train_batch_begin (self, batch, logs = None):
lr = K.get_value(self.model.optimizer.lr)
但我得到 <tensorflow.python.keras.optimizer_v2.learning_rate_schedule.CosineDecay object at 0x7f ...>
当您将函数设置为学习率或对象子类时 LearningRateScheduler
,您需要使用当前训练步骤调用该函数(或 Callable)以获得学习率。您可以使用优化器的 iterations
属性获取当前训练步骤。
class CustomCallback(tf.keras.callbacks.Callback):
def __init__(self) -> None:
super().__init__()
def on_train_batch_begin(self, batch, logs=None):
lr = tf.keras.backend.get_value(
self.model.optimizer.lr(self.model.optimizer.iterations)
)