Airflow 和 Kubeflow 流水线有什么区别？
What are the differences between airflow and Kubeflow pipeline?
机器学习平台是商业中的流行语之一，以促进机器学习或深度学习的发展。
有一个通用部分 workflow orchestrator 或 workflow scheduler 可以帮助用户构建 DAG、安排和跟踪实验、作业和运行.
很多机器学习平台都有工作流编排器，比如Kubeflow pipeline, FBLearner Flow, Flyte
我的问题是 airflow 和 Kubeflow 管道或其他 ML 平台工作流编排器之间的主要区别是什么？
并且 airflow 支持不同的语言 API 并且拥有庞大的社区，我们可以使用 airflow 来构建我们的 ML 工作流吗？
您当然可以使用 Airflow 来编排机器学习任务，但您可能希望通过操作员远程执行 ML 任务。
例如，Dailymotion 使用 KubernetesPodOperator 为 ML 任务扩展 Airflow。
如果您没有资源自行设置 Kubernetes 集群，您可以使用 Valohai 等具有 Airflow 运算符的 ML 平台。
在生产环境中进行机器学习时，理想情况下您还希望对模型进行版本控制，以跟踪每次执行的数据、代码、参数和指标。
上找到有关这篇文章的更多详细信息
My question is what are the main differences between airflow and
Kubeflow pipeline or other ML platform workflow orchestrator?
Airflow 服务器中的 Airflow 管道 运行（如果任务过于耗费资源，则存在将其关闭的风险），而 Kubeflow 管道 运行 在专用的 Kubernetes pod 中。此外，Airflow 管道被定义为 Python 脚本，而 Kubernetes 任务被定义为 Docker 容器。
And airflow supports different language API and has large community,
can we use airflow to build our ML workflow ?
是的，你可以，例如，你可以使用 Airflow DAG 在 Kubernetes pod 中启动训练作业，以 运行 一个 Docker 容器模拟 Kubeflow 的行为，你会错过一些 ML Kubeflow 的特定功能，如模型跟踪或实验。
机器学习平台是商业中的流行语之一，以促进机器学习或深度学习的发展。
有一个通用部分 workflow orchestrator 或 workflow scheduler 可以帮助用户构建 DAG、安排和跟踪实验、作业和运行.
很多机器学习平台都有工作流编排器，比如Kubeflow pipeline, FBLearner Flow, Flyte
我的问题是 airflow 和 Kubeflow 管道或其他 ML 平台工作流编排器之间的主要区别是什么？
并且 airflow 支持不同的语言 API 并且拥有庞大的社区，我们可以使用 airflow 来构建我们的 ML 工作流吗？
您当然可以使用 Airflow 来编排机器学习任务，但您可能希望通过操作员远程执行 ML 任务。
例如，Dailymotion 使用 KubernetesPodOperator 为 ML 任务扩展 Airflow。
如果您没有资源自行设置 Kubernetes 集群，您可以使用 Valohai 等具有 Airflow 运算符的 ML 平台。
在生产环境中进行机器学习时，理想情况下您还希望对模型进行版本控制，以跟踪每次执行的数据、代码、参数和指标。
上找到有关这篇文章的更多详细信息My question is what are the main differences between airflow and Kubeflow pipeline or other ML platform workflow orchestrator?
Airflow 服务器中的 Airflow 管道 运行（如果任务过于耗费资源，则存在将其关闭的风险），而 Kubeflow 管道 运行 在专用的 Kubernetes pod 中。此外，Airflow 管道被定义为 Python 脚本，而 Kubernetes 任务被定义为 Docker 容器。
And airflow supports different language API and has large community, can we use airflow to build our ML workflow ?
是的，你可以，例如，你可以使用 Airflow DAG 在 Kubernetes pod 中启动训练作业，以 运行 一个 Docker 容器模拟 Kubeflow 的行为，你会错过一些 ML Kubeflow 的特定功能，如模型跟踪或实验。