如何正确控制YARN容器分配增量?

How to control YARN container allocation increment properly?

假设我想将 YARN 容器的默认值从 1024 MB 增加到 1200MB,并使所有 YARN 容器内存为 1200MB 的倍数(2400MB、3600MB 等)。

我可以使用 YARN 参数 yarn.scheduler.minimum-allocation-mbyarn.scheduler.maximum-allocation-mb 控制容器的最大大小和最小大小,如 Hadoop 权威指南 中所述。
我相信分配增量与 yarn.scheduler.minimum-allocation-mb 相同(参见 ), until recently came across mentions of yarn.scheduler.increment-allocation-mb parameter

Request a container 1200MB/1vcore: minimum size is 1GB, increment is 500MB -> a container of 1.5GB (rounded up to the next increment, the minimum is used as a base)

我没有在 yarn-defaults.xml for Hadoop 3.1.1 中找到此参数的任何提及或默认值,更不用说旧版本了。

所以我的问题是:我是否需要在 yarn-site.xml 中将 yarn.scheduler.increment-allocation-mb 显式设置为 1200MB,这个 [=34] 的默认值是多少=]?

为了补充更多细节,我的 Hadoop 版本是 2.6.0-cdh5.9.2(Cloudera 发行版)。

根据 Cloudera docs,默认值为 512 MB。

是的,您需要将 yarn.scheduler.increment-allocation-mb 设置为 1200MB 才能使容器大小按其倍数增加。