您可以在 Google Cloud Composer 中访问 Airflow CLI 吗?

Can you access the Airflow CLI within Google Cloud Composer?

我知道许多常见的 Airflow 管理命令都可以通过 gcloud CLI. However, I'm troubleshooting some DAG scheduling and would like to use the schedule and next_execution 命令直接在集群上使用。

有简单的方法吗?

可以通过使用 kubectl exec SSH 进入 Composer pods 来访问完整的 Airflow CLI。为此,请获取与您的环境关联的 GKE 集群的名称,并为其获取集群凭据:

gcloud container clusters get-credentials $CLUSTER_NAME --zone=$ZONE

然后,使用 kubectl 检查 Composer 命名空间,然后找到一个 pod 并通过 SSH 连接到它:

kubectl get namespaces | grep composer
kubectl get pods --namespace=$NAMESPACE | grep airflow
kubectl exec -it --namespace=$NAMESPACE $POD_NAME -- bash

在 pod 中,您可以将 airflow 与该版本的 Airflow 支持的任何命令一起使用。但是,还应注意,这也提供了对可能使您的环境永久无法使用的命令的完全访问权限(例如 resetdb),因此应谨慎使用它们。