在 GCP 数据流中指定特定的工作器配置

Specify specific worker configuration in GCP Dataflow

是否可以为单个数据流工作者指定我想要的配置?似乎默认包含4个内核和15GB内存,绰绰有余。我怎样才能缩小它的尺寸,或者这是提供的工人的最小单位?

根据数据流的 Workers section > How-to 指南 > 部署管道页面,您可以使用 --worker_machine_type 选项指定自定义机器类型(具有不同的内核或内存) .

您还可以在 docs/source code 中看到 WorkerOptions class 的其他 Dataflow worker-related 选项,它解析各种 worker-related [=26] =] 选项。此处列出的其他一些选项包括:disk_size_gbworker_disk_type.

切向相关:额外的 GCP-related 数据流选项由 GoogleCloudOptions class 处理。