KubeFlow 中 TFX 标准组件的等价物

Equivalent of TFX Standard Components in KubeFlow

我有一个现有的 TFX 管道 here that I want to rewrite using the KubeFlow Pipelines SDK

现有管道使用了许多 TFX Standard Components such as ExampleValidator. When checking the KubeFlow SDK, I see a kfp.components.package,但没有像 TFX 提供的现有预构建组件。

KubeFlow SDK 是否有与 TFX 标准组件等效的组件?

不用重写组件,tfx的组件在kfp中没有映射,不是竞争工具。

使用 tfx 创建组件,然后使用 orchestrator 到 运行 它们。 Kubeflow 管道是协调器之一。

tfx.orchestration.pipeline 将包装您的 tfx 组件并创建您的管道。

我们在 kubeflow 管道后面有两个调度程序:Argo(由 gcp 使用)和 Tekton(由 openshift 使用)。在各自的存储库中有 tfx with kubeflow pipelines using tekton and tfx with kubeflow pipelines using argo 的示例。

实际上,Kubeflow 确实有他们在 docs. They can be python-based or YAML-based and so on. However, there is no 'standard' ones like TFX has them. You can just see a bunch of them in the examples repo 中引用的可重用组件的概念,并创建您自己的可重用组件。

不过,您可以将 TFX 组件和 Kubeflow 组件在某种程度上互换,因为 TFX 组件确实通过编排器逻辑编译到 Kubeflow 表示中。只需将 KubeflowDagRunner 与您的 TFX 管道一起使用。但是我可能遗漏了一些东西:你在 Kubeflow 中重写的动机是什么?