GCP 数据流:使用带未知区域的区域 SSD
GCP Dataflow: using Zonal SSD with unknown zone
目前,我们为我们的批处理和流数据流作业设置 region
,例如。 europe-west1
。
使用硬盘时,这一切都很好。
但现在我想用 SSD 测试管道,根据 worker-level-options,我可以做到,但我必须事先提供区域。
是否可以在不指定区域的情况下使用区域 SSD PD,即使用工作区域(自动)?
注意:我知道您实际上可以设置工作人员的区域,但我想避免这种情况,让他们自动选择区域内最好的区域。
除了 worker_disk_type 选项之外,我认为 Dataflow 没有 [auto-]select SSD 区域的选项。
此外,为了提高作业的性能(请参阅此 common error), you may switch to Dataflow Shuffle (should be turned on by default for all batch jobs) or streaming engine 而不是使用设备模式来最大限度地减少本地磁盘使用量。
目前,我们为我们的批处理和流数据流作业设置 region
,例如。 europe-west1
。
使用硬盘时,这一切都很好。
但现在我想用 SSD 测试管道,根据 worker-level-options,我可以做到,但我必须事先提供区域。
是否可以在不指定区域的情况下使用区域 SSD PD,即使用工作区域(自动)?
注意:我知道您实际上可以设置工作人员的区域,但我想避免这种情况,让他们自动选择区域内最好的区域。
除了 worker_disk_type 选项之外,我认为 Dataflow 没有 [auto-]select SSD 区域的选项。
此外,为了提高作业的性能(请参阅此 common error), you may switch to Dataflow Shuffle (should be turned on by default for all batch jobs) or streaming engine 而不是使用设备模式来最大限度地减少本地磁盘使用量。