Tf 1 和 Tf 2 之间的 Adam 优化器

Question

我正在尝试在 Tf1 和 Tf2 之间复制相同的结果。下面是一个使用 Adam 优化器的简单示例。

在 TF2 中：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.keras.optimizers.Adam(learning_rate=0.5, epsilon=1e-08)
optimizer.apply_gradients(zip([grad], [x]))
print(x)

x 是：

在 TF1 中：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate=0.5)
optimizer.apply_gradients(zip([grad], [x]))

init_op = tf.initialize_all_variables()
with tf.Session() as sess:
  sess.run(init_op)
  print(sess.run(x))

x 是： [1. 2. 3.]

有谁知道在使用 Adam Optimizer 时导致 Tf1 和 Tf2 不一致的原因是什么？我不排除执行错误的可能性。

如果有人能告诉我我在 TF1 中做错了什么导致我无法获得与在 TF2 中相同的结果，我将不胜感激。

非常感谢！

Answer 1

可重复性是商业 AI/ML 项目中一个棘手但至关重要的步骤。

这是 Adam 在 GH 上的 v1 实现：https://github.com/tensorflow/tensorflow/blob/4c081973a6374ce867794ad66a5c4b204c310afb/tensorflow/python/keras/optimizer_v1.py#L468

这是 v2：https://github.com/keras-team/keras/blob/v2.7.0/keras/optimizer_v2/adam.py

它们的实现略有不同。我在 V2 文档中找到了这个：许多优化器子类，例如 Adam 和 Adagrad 分配和管理与要训练的变量关联的附加变量。这些称为 Slots。插槽有名称，您可以向优化器询问它使用的插槽的名称。获得槽名称后，您可以向优化器询问它创建的用于保存槽值的变量。

此外，如果您尝试将代码从 1 迁移到 2，您可以按照 https://www.tensorflow.org/guide/migrate 自动执行。

Answer 2

如果您改为这样做：

x = tf.Variable([1,2,3], dtype=tf.float32)
grad = tf.constant([0.1, 0.2, 0.3])
optimizer = tf.compat.v1.train.AdamOptimizer(learning_rate=0.5)
step = optimizer.apply_gradients(zip([grad], [x]))

init_op = tf.initialize_all_variables()
with tf.Session() as sess:
  sess.run(init_op)
  sess.run(step)
  print(x.eval())

你得到相同的结果（除非我认为可能是浮点数不准确）。

[0.50000155 1.5000007  2.5000005 ]

Tf 1 和 Tf 2 之间的 Adam 优化器

Adam optimizer between Tf 1 and Tf 2

tensorflow

tensorflow2.0

tensorflow1.15