EC2 上 KubernetesExecutor worker (EKS) 和 webserver+scheduler 的气流
Airflow with KubernetesExecutor workers (EKS) and webserver+scheduler on EC2
我想知道是否可以在 Airflow 上设置 KubernetesExecutor 但在 EC2 上设置网络服务器和调度程序 运行ning？
意味着任务将 运行 在 Kubernetes pods（在我的例子中是 EKS）上，但基本服务在常规 EC2 上。
我试图找到有关该问题的信息，但很快就失败了...
以下引用来自 Airflow 的 docs，这就是我问这个问题的原因
KubernetesExecutor runs as a process in the Airflow Scheduler. The scheduler itself does not necessarily need to be running on Kubernetes, but does need access to a Kubernetes cluster.
提前致谢！
是的，这完全有可能。
您只需要在 EC2 上 运行 您的 airflow scheduler 和 airflow webserver 并将 EC2 实例配置为具有所有必要的访问权限（可能通过服务帐户 - 但这是您的决定和部署配置），以便能够在您的 EKS 集群上运行 pods。
没什么特别的，除了你必须学习如何 运行 和配置组件以相互通信 - 没有现成的配方，你将必须简单地按照配置Airflo的参数，以及你需要的认证方案。
我想知道是否可以在 Airflow 上设置 KubernetesExecutor 但在 EC2 上设置网络服务器和调度程序 运行ning？
意味着任务将 运行 在 Kubernetes pods（在我的例子中是 EKS）上，但基本服务在常规 EC2 上。
我试图找到有关该问题的信息，但很快就失败了...
以下引用来自 Airflow 的 docs，这就是我问这个问题的原因
KubernetesExecutor runs as a process in the Airflow Scheduler. The scheduler itself does not necessarily need to be running on Kubernetes, but does need access to a Kubernetes cluster.
提前致谢！
是的，这完全有可能。
您只需要在 EC2 上 运行 您的 airflow scheduler 和 airflow webserver 并将 EC2 实例配置为具有所有必要的访问权限（可能通过服务帐户 - 但这是您的决定和部署配置），以便能够在您的 EKS 集群上运行 pods。
没什么特别的，除了你必须学习如何 运行 和配置组件以相互通信 - 没有现成的配方，你将必须简单地按照配置Airflo的参数，以及你需要的认证方案。