如何在生产(流媒体管道)中重用您的 TFX 转换进行推理?

How to reuse your TFX transforms for inference in production (streaming pipeline)?

我想使用 TFX 构建一个训练管道,并最终重用我的数据转换来向 TensorFlow-Serving 发出推理请求,TFX 应该可以做到这一点。 我发现的所有 TFX 示例似乎都构建了批处理训练管道并最终将模型推送到 TensorFlow-Serving 中,但它们没有解决推理部分,由于延迟原因,推理部分必须是流式管道。我可能可以编写自己的工具来发出请求,但不将我的 Transform 组件重新用于推理部分似乎是一种浪费。

我在本地 运行 通过 TFX 示例安装脚本在 dags 中安装了示例。气流 UI 清楚地表明这些是批处理管道。

TFX 允许您在训练管道中定义转换逻辑,并将逻辑保存为结果模型图的一部分,这样您保存的模型将同时包含转换和常用模型,并且 tf 服务将是能够接受预转换数据格式的请求,并且无需任何额外工作即可进行适当的转换和模型推理。因此,根据设计,TFX 不参与推理。