Airflow Kubernetes Executor 运行 是否有任何操作员?

Does Airflow Kubernetes Executor run any operator?

我正在评估我当前的 Airflow 部署从 Celery 执行器到 Kubernetes (K8s) 执行器的迁移,以利用 pods 提供的资源动态分配和任务隔离。

我很清楚,我们可以使用本机 KubernetesPodOperator 通过 K8s 执行程序在 K8s 集群上 运行 执行任务。但是我找不到有关 K8s 执行器与其他运算符之间兼容性的信息,例如 bash 和 athena.

这是一个问题 是否可以 运行 bash(或任何其他)运算符在 K8s 驱动的 Airflow 上,或者我应该迁移所有我的任务交给 KubernetesPodOperator?

谢谢!

Kubernetes 执行器将与所有操作员一起工作。
使用 kubernetes executor 将为每个任务创建一个 worker pod,而不是像 celery executor 那样使用 celery worker。

使用 KubernetesPodOperator 将拉取任何特定图像以启动 pod 并执行您的任务。
因此,如果您要将 KubernetesPodOperatorKubernetesExecutor 一起使用,Airflow 将为您的任务启动一个 worker pod,该任务将启动一个 pod 并且监控其执行。 2 pods 完成 1 个任务。

如果您将 BashOperatorKubernetesExecutor 一起使用,Airflow 将启动一个 worker pod 并在其上执行 bash 命令工人吊舱。 1 个任务 1 个 pod。