在 GCP 数据流中指定特定的工作器配置
Specify specific worker configuration in GCP Dataflow
是否可以为单个数据流工作者指定我想要的配置?似乎默认包含4个内核和15GB内存,绰绰有余。我怎样才能缩小它的尺寸,或者这是提供的工人的最小单位?
根据数据流的 Workers section > How-to 指南 > 部署管道页面,您可以使用 --worker_machine_type
选项指定自定义机器类型(具有不同的内核或内存) .
您还可以在 docs/source code 中看到 WorkerOptions
class 的其他 Dataflow worker-related 选项,它解析各种 worker-related [=26] =] 选项。此处列出的其他一些选项包括:disk_size_gb
、worker_disk_type
.
切向相关:额外的 GCP-related 数据流选项由 GoogleCloudOptions class 处理。
是否可以为单个数据流工作者指定我想要的配置?似乎默认包含4个内核和15GB内存,绰绰有余。我怎样才能缩小它的尺寸,或者这是提供的工人的最小单位?
根据数据流的 Workers section > How-to 指南 > 部署管道页面,您可以使用 --worker_machine_type
选项指定自定义机器类型(具有不同的内核或内存) .
您还可以在 docs/source code 中看到 WorkerOptions
class 的其他 Dataflow worker-related 选项,它解析各种 worker-related [=26] =] 选项。此处列出的其他一些选项包括:disk_size_gb
、worker_disk_type
.
切向相关:额外的 GCP-related 数据流选项由 GoogleCloudOptions class 处理。