如何使用 TensorFlow Lite 进行批处理？

Question

我有一个自定义 CNN 模型，我已将其转换为 .tflite 格式并将其部署到我的 Android 应用程序中。但是，我不知道如何在使用 tensorflow lite 进行推理时进行批处理。

从这个Google doc看来，您似乎必须设置模型的输入格式。但是，此文档使用的是 Firebase API 的代码示例，我不打算使用它。

更具体地说：

我想一次推断多张 100x100x3 的图像，所以输入大小是 Nx100x100x3.

问题：

如何使用 TF lite 执行此操作？

Answer 1

您可以直接调用 resizeInput API (Java) 或 ResizeInputTensor API（如果您使用的是 C++）。

例如，在Java中：

interpreter.resizeInput(tensor_index, [num_batch, 100, 100, 3]);

如果您在 TensorFlow lite 中的批处理有任何问题，请告诉我们。