在 TensorFlow 中具有动量的 SGD
SGD with momentum in TensorFlow
在 Caffe 中，SGD 求解器有一个动量参数 (link)。在 TensorFlow 中，我看到 tf.train.GradientDescentOptimizer 没有明确的动量参数。但是，我可以看到有 tf.train.MomentumOptimizer 优化器。它是否相当于带有动量优化器的 Caffe SGD？
是的。 tf.train.MomentumOptimizer = SGD + 动量
tf.keras.optimizers.SGD 有一个 momentum 参数。使用 nesterov=True.
也可以应用 Nesterov 动量
在 Caffe 中，SGD 求解器有一个动量参数 (link)。在 TensorFlow 中，我看到 tf.train.GradientDescentOptimizer 没有明确的动量参数。但是，我可以看到有 tf.train.MomentumOptimizer 优化器。它是否相当于带有动量优化器的 Caffe SGD？
是的。 tf.train.MomentumOptimizer = SGD + 动量
tf.keras.optimizers.SGD 有一个 momentum 参数。使用 nesterov=True.