GCP 数据流:使用带未知区域的区域 SSD

GCP Dataflow: using Zonal SSD with unknown zone

目前,我们为我们的批处理和流数据流作业设置 region,例如。 europe-west1。 使用硬盘时,这一切都很好。

但现在我想用 SSD 测试管道,根据 worker-level-options,我可以做到,但我必须事先提供区域。

是否可以在不指定区域的情况下使用区域 SSD PD,即使用工作区域(自动)?

注意:我知道您实际上可以设置工作人员的区域,但我想避免这种情况,让他们自动选择区域内最好的区域。

除了 worker_disk_type 选项之外,我认为 Dataflow 没有 [auto-]select SSD 区域的选项。

此外,为了提高作业的性能(请参阅此 common error), you may switch to Dataflow Shuffle (should be turned on by default for all batch jobs) or streaming engine 而不是使用设备模式来最大限度地减少本地磁盘使用量。