如何为模板数据流作业设置作业区域而不仅仅是管道区域？

Question

我想从自定义数据流模板启动 GCP 数据流，并将区域设置为欧洲。结果，我在管道选项中得到的区域等于 europe-west1，我的 VM 在欧洲也是运行，但是作业选项的区域设置为 us-central1（在作业摘要部分 - 区域为此作业存储和处理元数据）。

上传模板时，我输入了选项 --region=europe-west1。当我从模板启动数据流时，我还将 region 设置为 europe-west1。我也尝试设置区域并尽可能将区域设置为欧洲，但我仍然得到相同的结果。有关设置作业区域的文档 - 区域端点仅提及此参数 (region)。

我错过了什么吗？我怎样才能将工作区域也设置为欧洲？

更新：它在命令行中使用 --region=europe-west1，但我需要从 Airflow 启动我的数据流。

Answer 1

自定义模板 UI 似乎缺少 select 区域的选项。我跟进了 Dataflow 团队来解决这个问题。感谢您指出这一点。

相反，您可以使用命令行工具来启动模板作业。请试一试

gcloud beta dataflow jobs run myJob --gcs-location=<gcs_template_location> --region=europe-west1

Usage: gcloud beta dataflow jobs run JOB_NAME --gcs-location=GCS_LOCATION 
[optional flags]
optional flags may be --help | --max-workers | --network | --num-workers |
--parameters | --region | --service-account-email |
--staging-location | --subnetwork |
--worker-machine-type | --zone

Answer 2

旧版本的 Airflow 指向错误的端点，即没有区域参数的端点。

我可以看到 GCP UI 也解决了这个问题，现在可以从 UI 使用适当的区域（区域端点）启动数据流模板。

如何为模板数据流作业设置作业区域而不仅仅是管道区域？

How to set Job Region for Template Dataflow Job not only Pipeline Region?

google-cloud-platform

google-cloud-dataflow