如何使用 tf.estimator 返回预测和标签（使用 predict 或 eval 方法）？

Question

我正在使用 Tensorflow 1.4。

我创建了一个自定义 tf.estimator 以进行分类，如下所示：

def model_fn():
    # Some operations here
    [...]

    return tf.estimator.EstimatorSpec(mode=mode,
                           predictions={"Preds": predictions},
                           loss=cost,
                           train_op=loss,
                           eval_metric_ops=eval_metric_ops,
                           training_hooks=[summary_hook])

my_estimator = tf.estimator.Estimator(model_fn=model_fn, 
                       params=model_params,
                       model_dir='/my/directory')

我可以轻松训练它：

input_fn = create_train_input_fn(path=train_files)
my_estimator.train(input_fn=input_fn)

其中 input_fn 是一个从 tfrecords 文件 中读取数据的函数，其中 tf.data.Dataset API.

当我从 tfrecords 文件中读取时，我在进行预测时内存中没有 labels。

我的问题是，如何通过 predict() 方法或 evaluate() 返回预测和标签方法？

看来没有办法两者兼得。 predict() 无法访问（？）标签，并且无法使用 访问 predictions 字典评估（） 方法。

Answer 1

完成训练后，在'/my/directory'中你有一堆检查点文件。

您需要重新设置输入管道，手动加载其中一个文件，然后开始循环存储预测和标签的批次：

# Rebuild the input pipeline
input_fn = create_eval_input_fn(path=eval_files)
features, labels = input_fn()

# Rebuild the model
predictions = model_fn(features, labels, tf.estimator.ModeKeys.EVAL).predictions

# Manually load the latest checkpoint
saver = tf.train.Saver()
with tf.Session() as sess:
    ckpt = tf.train.get_checkpoint_state('/my/directory')
    saver.restore(sess, ckpt.model_checkpoint_path)

    # Loop through the batches and store predictions and labels
    prediction_values = []
    label_values = []
    while True:
        try:
            preds, lbls = sess.run([predictions, labels])
            prediction_values += preds
            label_values += lbls
        except tf.errors.OutOfRangeError:
            break
    # store prediction_values and label_values somewhere

更新：改为直接使用已有的model_fn功能。

如何使用 tf.estimator 返回预测和标签（使用 predict 或 eval 方法）？

How to have predictions AND labels returned with tf.estimator (either with predict or eval method)?

python

tensorflow

tensorflow-datasets