如何正确控制YARN容器分配增量?
How to control YARN container allocation increment properly?
假设我想将 YARN 容器的默认值从 1024 MB 增加到 1200MB,并使所有 YARN 容器内存为 1200MB 的倍数(2400MB、3600MB 等)。
我可以使用 YARN 参数 yarn.scheduler.minimum-allocation-mb
和 yarn.scheduler.maximum-allocation-mb
控制容器的最大大小和最小大小,如 Hadoop 权威指南 中所述。
我相信分配增量与 yarn.scheduler.minimum-allocation-mb
相同(参见 ), until recently came across mentions of yarn.scheduler.increment-allocation-mb
parameter:
Request a container 1200MB/1vcore: minimum size is 1GB, increment is 500MB -> a container of 1.5GB (rounded up to the next increment, the minimum is used as a base)
我没有在 yarn-defaults.xml for Hadoop 3.1.1 中找到此参数的任何提及或默认值,更不用说旧版本了。
所以我的问题是:我是否需要在 yarn-site.xml
中将 yarn.scheduler.increment-allocation-mb
显式设置为 1200MB,这个 [=34] 的默认值是多少=]?
为了补充更多细节,我的 Hadoop 版本是 2.6.0-cdh5.9.2(Cloudera 发行版)。
根据 Cloudera docs,默认值为 512 MB。
是的,您需要将 yarn.scheduler.increment-allocation-mb
设置为 1200MB 才能使容器大小按其倍数增加。
假设我想将 YARN 容器的默认值从 1024 MB 增加到 1200MB,并使所有 YARN 容器内存为 1200MB 的倍数(2400MB、3600MB 等)。
我可以使用 YARN 参数 yarn.scheduler.minimum-allocation-mb
和 yarn.scheduler.maximum-allocation-mb
控制容器的最大大小和最小大小,如 Hadoop 权威指南 中所述。
我相信分配增量与 yarn.scheduler.minimum-allocation-mb
相同(参见 yarn.scheduler.increment-allocation-mb
parameter:
Request a container 1200MB/1vcore: minimum size is 1GB, increment is 500MB -> a container of 1.5GB (rounded up to the next increment, the minimum is used as a base)
我没有在 yarn-defaults.xml for Hadoop 3.1.1 中找到此参数的任何提及或默认值,更不用说旧版本了。
所以我的问题是:我是否需要在 yarn-site.xml
中将 yarn.scheduler.increment-allocation-mb
显式设置为 1200MB,这个 [=34] 的默认值是多少=]?
为了补充更多细节,我的 Hadoop 版本是 2.6.0-cdh5.9.2(Cloudera 发行版)。
根据 Cloudera docs,默认值为 512 MB。
是的,您需要将 yarn.scheduler.increment-allocation-mb
设置为 1200MB 才能使容器大小按其倍数增加。