将重新训练的初始 SavedModel 部署到 google 云 ML 引擎

Question

我正在尝试在 google 云 ml-engine 上部署初始模型的重新训练版本。从 rhaertel80 的 SavedModel documentation, this reference, and this post 收集信息，我成功地将我的再训练模型导出到 SavedModel，将其上传到存储桶并尝试将其部署到 ml-engine 版本。

最后一个任务实际上创建了一个版本，但它输出了这个错误：

Create Version failed. Bad model detected with error: "Error loading the model: Unexpected error when loading the model"

当我尝试通过命令行从模型中获取预测时，我收到以下错误消息： "message": "Field: name Error: Online prediction is unavailable for this version. Please verify that CreateVersion has completed successfully."

我做了几次尝试，尝试了不同的 method_name 和 tag 选项，但 none 成功了。

在原inception代码中添加的代码为

  ### DEFINE SAVED MODEL SIGNATURE

  in_image = graph.get_tensor_by_name('DecodeJpeg/contents:0')
  inputs = {'image_bytes': tf.saved_model.utils.build_tensor_info(in_image)}

  out_classes = graph.get_tensor_by_name('final_result:0')
  outputs = {'prediction': tf.saved_model.utils.build_tensor_info(out_classes)}

  signature = tf.saved_model.signature_def_utils.build_signature_def(
      inputs=inputs,
      outputs=outputs,
      method_name='tensorflow/serving/predict'
  )


  ### SAVE OUT THE MODEL

  b = saved_model_builder.SavedModelBuilder('new_export_dir')
  b.add_meta_graph_and_variables(sess,
                                 [tf.saved_model.tag_constants.SERVING],
                                 signature_def_map={'predict_images': signature})
  b.save()

另一个可能有帮助的注意事项：我使用导出的 trained_graph.pb 和 graph_def.SerializeToString() 在本地获取预测并且它工作正常，但是当我用 saved_model.pb 替换它时它失败了。

对问题可能是什么有什么建议吗？

Answer 1

在您的 signature_def_map 中，使用键 'serving_default'，它在 signature_constants 中定义为 DEFAULT_SERVING_SIGNATURE_DEF_KEY:

b.add_meta_graph_and_variables(sess,
                               [tf.saved_model.tag_constants.SERVING],
                               signature_def_map={'serving_default': signature})

将重新训练的初始 SavedModel 部署到 google 云 ML 引擎

Deploy retrained inception SavedModel to google cloud ml engine

google-cloud-ml

google-cloud-ml-engine