使用 gcloud CLI 设置 composer (airflow) bucket

Question

我一直在使用控制台界面创建作曲家环境，然后使用 cli 设置三个变量（使用 QuickStart 文档中的示例）：

gcloud composer environments run etl --location europe-west1 variables -- --set gcp_project projectname
gcloud composer environments run etl --location europe-west1 variables -- --set gcs_bucket gs://bucketname
gcloud composer environments run etl --location europe-west1 variables -- --set gce_zone europe-west1-b

出于某种原因，这并没有设置存储桶，但是所有三个变量都出现在 Admin > Variables

下

我希望将所有这些合并为一个步骤，并设置作曲家桶 - 所以构建了以下 CLI 命令：

gcloud composer environments create etl --location=europe-west1 --env-variables=gcp_project=projectname,gcs_bucket=gs://bucketname,gce_zone=europe-west1-b --service-account=serviceemail --zone=europe-west1-b

但这并没有设置桶，甚至没有创建变量。

如何从 CLI 使用存储桶名称和变量集启动作曲家环境？

Answer 1

Composer 不支持用户提供的 GCS 桶，每个新创建的环境都有自己的 GCS 桶。