如何使用 Tensorflow Serving 为重新训练的 Inception 模型提供服务？

Question

所以我根据这个指南训练了初始模型来识别花朵。 https://www.tensorflow.org/versions/r0.8/how_tos/image_retraining/index.html

bazel build tensorflow/examples/image_retraining:retrain
bazel-bin/tensorflow/examples/image_retraining/retrain --image_dir ~/flower_photos

要通过命令行对图像进行分类，我可以这样做：

bazel build tensorflow/examples/label_image:label_image && \
bazel-bin/tensorflow/examples/label_image/label_image \
--graph=/tmp/output_graph.pb --labels=/tmp/output_labels.txt \
--output_layer=final_result \
--image=$HOME/flower_photos/daisy/21652746_cc379e0eea_m.jpg

但我如何通过 Tensorflow 服务提供此图？

有关设置 Tensorflow 服务的指南 (https://tensorflow.github.io/serving/serving_basic) 没有说明如何合并图表 (output_graph.pb)。服务器需要不同格式的文件：

$>ls /tmp/mnist_model/00000001
checkpoint export-00000-of-00001 export.meta

Answer 1

要在训练后提供图表，您需要使用此 api 导出它：https://www.tensorflow.org/versions/r0.8/api_docs/python/train.html#export_meta_graph

api 生成服务代码所需的元图 def（这将生成您询问的那个 .meta 文件）

此外，您需要使用 Saver.save() 恢复检查点，这是 Saver class https://www.tensorflow.org/versions/r0.8/api_docs/python/train.html#Saver

完成此操作后，您将获得元图 def 和恢复图所需的检查点文件。

Answer 2

查看如何在会话中加载 .pb 输出图的要点：

https://github.com/eldor4do/Tensorflow-Examples/blob/master/retraining-example.py

Answer 3

您必须导出模型。我有一个 PR 可以在再训练期间导出模型。它的要点如下：

import tensorflow as tf

def export_model(sess, architecture, saved_model_dir):
  if architecture == 'inception_v3':
    input_tensor = 'DecodeJpeg/contents:0'
  elif architecture.startswith('mobilenet_'):
    input_tensor = 'input:0'
  else:
    raise ValueError('Unknown architecture', architecture)
  in_image = sess.graph.get_tensor_by_name(input_tensor)
  inputs = {'image': tf.saved_model.utils.build_tensor_info(in_image)}

  out_classes = sess.graph.get_tensor_by_name('final_result:0')
  outputs = {'prediction': tf.saved_model.utils.build_tensor_info(out_classes)}

  signature = tf.saved_model.signature_def_utils.build_signature_def(
    inputs=inputs,
    outputs=outputs,
    method_name=tf.saved_model.signature_constants.PREDICT_METHOD_NAME
  )

  legacy_init_op = tf.group(tf.tables_initializer(), name='legacy_init_op')

  # Save out the SavedModel.
  builder = tf.saved_model.builder.SavedModelBuilder(saved_model_dir)
  builder.add_meta_graph_and_variables(
    sess, [tf.saved_model.tag_constants.SERVING],
    signature_def_map={
      tf.saved_model.signature_constants.DEFAULT_SERVING_SIGNATURE_DEF_KEY: signature
    },
    legacy_init_op=legacy_init_op)
  builder.save()

以上将创建一个变量目录和 saved_model.pb 文件。如果你把它放在代表版本号（例如 1/）的父目录下，那么你可以通过以下方式调用 tensorflow 服务：

tensorflow_model_server --port=9000 --model_name=inception --model_base_path=/path/to/saved_models/

如何使用 Tensorflow Serving 为重新训练的 Inception 模型提供服务？

How to serve retrained Inception model using Tensorflow Serving?

tensorflow

tensorflow-serving