KubeFlow 上的 TFServing 和 KFServing 有什么不同

What's different between TFServing and KFServing on KubeFlow

TFServin 和 KFServing 都将模型部署在 Kubeflow 上,让用户可以轻松地将模型作为服务使用,无需了解 Kubernetes 的细节,隐藏了底层。

我的问题是这两个项目之间的主要区别是什么。

如果我想在生产中启动我的模型,我应该使用哪个?哪个性能更好?

KFServing 是推理之上的抽象,而不是替代。它旨在简化部署并使推理客户端不知道什么推理服务器在幕后进行实际工作(无论是 TF 服务、Triton(以前称为 TRT-IS)、Seldon 等)。它通过寻求推理服务器供应商之间就推理数据平面规范达成一致来实现这一点,该规范允许额外的组件(例如转换和解释器)更具可插拔性。