TensorFlow:每个 session.run() 调用进行了多少梯度步骤?
TensorFlow: How many gradient steps are made per session.run() call?
梯度下降算法向最小值迈出几个步骤。我的问题是每次调用 sess.run 时执行了多少这些步骤。举例说明:
我在网络中使用梯度下降算法 (tf.train.AdamOptimizer)。我有一个这样的循环:
for epoch in range(100):
sess.run(ops['optimizer'],
feed_dict=train_feed_dict
)
这个纪元循环运行了 100 次。我的问题是,对 sess.run 的一次调用是否向最小值迈出了一小步。或者,是否为每个 epoch 制作了不止一步的 gradent decent?
如果 ops['optimizer']
是 tf.train.AdamOptimizer(some_learning_rate).minimize(some_loss)
的单次调用,那么 运行 它将只执行一个下降步骤。所以你的循环中会有 100 个步骤。
梯度下降算法向最小值迈出几个步骤。我的问题是每次调用 sess.run 时执行了多少这些步骤。举例说明:
我在网络中使用梯度下降算法 (tf.train.AdamOptimizer)。我有一个这样的循环:
for epoch in range(100):
sess.run(ops['optimizer'],
feed_dict=train_feed_dict
)
这个纪元循环运行了 100 次。我的问题是,对 sess.run 的一次调用是否向最小值迈出了一小步。或者,是否为每个 epoch 制作了不止一步的 gradent decent?
如果 ops['optimizer']
是 tf.train.AdamOptimizer(some_learning_rate).minimize(some_loss)
的单次调用,那么 运行 它将只执行一个下降步骤。所以你的循环中会有 100 个步骤。