差异学习率 - Keras
Differential learning Rates - Keras
我在 Medium 上阅读了一篇名为 Differential Learning Rates 的文章，想知道这是否可以应用于 Keras。我能够找到在 pytorch 中实现的这项技术。这可以在 Keras 中实现吗？有人可以提供任何示例代码吗？
从Tensorflow 2.4开始， tf.keras.optimizers.Optimizer中有一个参数：gradient_transformers。它是一个函数列表，return 是一对 [(gradient, Variable), ...] 的列表。您可以通过此参数将差异学习率实现为根据网络中的权重位置降低学习率的转换。
我在 Medium 上阅读了一篇名为 Differential Learning Rates 的文章，想知道这是否可以应用于 Keras。我能够找到在 pytorch 中实现的这项技术。这可以在 Keras 中实现吗？有人可以提供任何示例代码吗？
从Tensorflow 2.4开始， tf.keras.optimizers.Optimizer中有一个参数：gradient_transformers。它是一个函数列表，return 是一对 [(gradient, Variable), ...] 的列表。您可以通过此参数将差异学习率实现为根据网络中的权重位置降低学习率的转换。