向 GCP 上的数据流作业添加更多工作人员
Add more workers to dataflow job on GCP
我正在创建一个将 CSV 导入 BQ 的数据准备流程。这工作正常，但需要很长时间。即使是非常小的文件。有没有办法在工作中增加更多的工人？默认情况下，maxNumWorkers 始终为 1。
Br
克里斯
Dataprep 第一次执行 Dataflow 作业时，设置将是默认设置。但是，您可以使用其 templates. For instance, you could use the REST API and using the numWorkers field to specify the workers to execute the job, as it is unspecified, the service will attempt to choose a reasonable default. For more information regarding the REST API, you could review this document.
直接从 Dataflow 重新 运行 这些具有不同参数的作业
请记住它有 limitations
我正在创建一个将 CSV 导入 BQ 的数据准备流程。这工作正常，但需要很长时间。即使是非常小的文件。有没有办法在工作中增加更多的工人？默认情况下，maxNumWorkers 始终为 1。
Br 克里斯
Dataprep 第一次执行 Dataflow 作业时，设置将是默认设置。但是，您可以使用其 templates. For instance, you could use the REST API and using the numWorkers field to specify the workers to execute the job, as it is unspecified, the service will attempt to choose a reasonable default. For more information regarding the REST API, you could review this document.
请记住它有 limitations