为什么我输入的 TensorFlow 占位符值被替换为计算值？

Question

我已经使用

定义了一些计算值和相关摘要

keep_prob_val = tf.sub(1.0, tf.train.exponential_decay(1 - FLAGS.keep_prob, global_step, FLAGS.decay_steps,                                                        FLAGS.dropout_decay_rate, staircase=False))
keep_prob_summary = tf.scalar_summary('params/keep_prob', keep_prob_val)

并使用

设置一些合并摘要

train_writer = tf.train.SummaryWriter(FLAGS.train_dir.format(log_id), tf.get_default_graph())
test_writer = tf.train.SummaryWriter(test_dir)
merged = tf.merge_all_summaries()

但是当我随后

sess.run(train_step, feed_dict={x: xs, y_: ys,
                                keep_prob: sess.run(keep_prob_val)})
# ...
test_writer.add_summary(sess.run(merged, feed_dict={ ..., keep_prob: some_val}), 
                        global_step=gs)

其中 keep_prob 之前被定义为

keep_prob = tf.placeholder(tf.float32, name='keep_prob')

我得到的摘要信息是计算得到的 keep_prob_val 而不是我输入的 some_val。即使如预期的那样，如果我省略显式输入 keep_prob，也会发生这种情况，我会收到错误消息。

据我所知，这仅发生在涉及 keep_prob 的摘要中。比如我的时候

sess.run(accuracy, feed_dict={ ..., keep_prob: some_val})

我似乎得到了使用 some_val 计算的 accuracy，这对应于相关的摘要。

为什么我的摘要中忽略了 keep_prob 的美联储价值？

Answer 1

摘要不取决于您的 keep_prob 占位符，而是取决于 FLAGS.keep_prob 值：

keep_prob_val = tf.sub(1.0, tf.train.exponential_decay(
    1 - FLAGS.keep_prob, global_step, FLAGS.decay_steps,                
    FLAGS.dropout_decay_rate, staircase=False))

keep_prob_summary = tf.scalar_summary('params/keep_prob', keep_prob_val)

因此，您的摘要将始终包含由 --keep_prob 标志（或其默认值）设置的（可能已衰减的）值。

要使摘要反映 fed 值，您只需重新定义 keep_prob_val 和 keep_prob_summary 以依赖于占位符：

keep_prob = tf.placeholder(tf.float32, name='keep_prob')

# ...

keep_prob_val = tf.sub(1.0, tf.train.exponential_decay(
    1 - keep_prob,  # N.B. Critical change goes here!
    global_step, FLAGS.decay_steps, FLAGS.dropout_decay_rate, staircase=False))

keep_prob_summary = tf.scalar_summary('params/keep_prob', keep_prob_val)

为什么我输入的 TensorFlow 占位符值被替换为计算值？

Why are my fed TensorFlow Placeholder values being replaced with calculated ones?

logging

machine-learning

tensorflow