我如何在 dataproc 中动态升级 worker 的 cpu/ram/disk?

How I dynamically upgrade worker's cpu/ram/disk in dataproc?

我在 google dataproc 中通过默认设置(4 个 vCPU,15GB Ram)创建了一个集群。 在做了几个 pig 作业后,集群有 2-3 个不健康的节点。 所以我升级了工作虚拟机的 vCPU(4 到 8 个 vCPU)、Ram(15GB 到 30GB)和磁盘。 但是在Hadoop Web界面显示worker节点的硬件没有变化,还是显示原来的vCPU/Ram/Disk.

挂载

如何在 dataproc 中动态升级 worker 的 cpu/ram/disk?

谢谢。

Dataproc 不支持升级 运行 集群上的工作器。要升级,我们建议重新创建集群。您还可以通过 clusters update gcloud 命令添加额外的工作人员。

可以通过停止每个工作实例、升级并重新启动来升级工作类型。但是,有许多 hadoop/spark 属性必须更改以适应不同的容器大小。

我们必须停止集群并且可以编辑配置来升级 CPU/RAM