Tensorflow 对象检测 API 模型用于 TensorFlow.js

Tensorflow Object Detection API model for use in TensorFlow.js

我正在尝试使用对象检测模型,该模型是在 TensorFlow.js 中使用 TF 对象检测 API 创建的。

我使用以下方法转换模型:

tensorflowjs_converter --input_format=tf_saved_model inference_graph/saved_model inference_graph/web_model

它可以毫无问题地转换并加载到我的 javascript 代码中。 现在我有点不确定下一步应该做什么。 我必须将 Python 翻译成 JavaScript,但某些地方我不确定。

用python中的物体检测API,步骤比较多; (1) 预处理图像,例如转换为 RGB、numpy 数组重塑、扩展维度(我知道我将如何处理它)和 (2) 运行 单个图像函数的推断,我不是确定我将如何处理 tensorflow.js.

我试图在 tensorflow.js 中找到一些关于部署对象检测模型的一般信息,但我找不到太多,除了预训练模型。

如果能提供有关此主题的任何信息,那就太好了! 谢谢!

您需要在 javascript 中复制相同的过程,然后再将其提供给模型。在js中,图片默认使用RGB通道,所以不需要再进行转换。

所述,您需要在 JavaScript 中执行与 Python 中类似的输入处理和输出处理。因为我不熟悉这个模型,所以我不能确切地说出你需要做什么。但是,您可以在此处找到使用特定对象检测模型的示例:

https://github.com/vabarbosa/tfjs-model-playground/blob/master/object-detector/demo/object-detector.js

另见

https://medium.com/codait/bring-machine-learning-to-the-browser-with-tensorflow-js-part-iii-62d2b09b10a3