在异构 YARN 集群中配置 NodeManager 内存和 vcores？
Configuring NodeManager memory and vcores in a heterogenous YARN cluster?
我知道使用以下属性在 YARN 中设置内存和 vcores：
- yarn.nodemanager.resource.memory-mb
- yarn.nodemanager.resource.cpu-vcores
我有一个异构 YARN 集群，其节点具有以下配置：
- Node1 (8cores, 16GB RAM)
- Node2 (8cores, 16GB RAM)
- Node3 (32cores, 64GB RAM)
- Node4 (32cores, 64GB RAM)
我想为 Node1、Node2 和 Node3、Node4 设置不同的节点管理器内存和内核。
节点 1 和节点 2
- yarn.nodemanager.resource.memory-mb = 10240
- yarn.nodemanager.resource.cpu-vcores = 15
节点 3 和节点 4
- yarn.nodemanager.resource.memory-mb = 40240
- yarn.nodemanager.resource.cpu-vcores = 25
如何使用 Ambari 实现 with/without？
没有 Ambari:
直接在各个节点yarn-site.xml配置上述属性，重启YARN服务即可实现异构资源分配
使用 Ambari：
在 Ambari 中，您可以从 Manage Configuration Group link 在 Group drop down[=33 旁边的 Configs 选项卡上可见=].创建配置组时，您会找到选择要应用配置的节点的选项。一旦为各个节点创建了配置，就可以通过重新启动 YARN 服务来应用更改。关注 Heterogeneous Configuration 了解如何配置。
我知道使用以下属性在 YARN 中设置内存和 vcores：
- yarn.nodemanager.resource.memory-mb
- yarn.nodemanager.resource.cpu-vcores
我有一个异构 YARN 集群，其节点具有以下配置：
- Node1 (8cores, 16GB RAM)
- Node2 (8cores, 16GB RAM)
- Node3 (32cores, 64GB RAM)
- Node4 (32cores, 64GB RAM)
我想为 Node1、Node2 和 Node3、Node4 设置不同的节点管理器内存和内核。
节点 1 和节点 2
- yarn.nodemanager.resource.memory-mb = 10240
- yarn.nodemanager.resource.cpu-vcores = 15
节点 3 和节点 4
- yarn.nodemanager.resource.memory-mb = 40240
- yarn.nodemanager.resource.cpu-vcores = 25
如何使用 Ambari 实现 with/without？
没有 Ambari:
直接在各个节点yarn-site.xml配置上述属性，重启YARN服务即可实现异构资源分配
使用 Ambari：
在 Ambari 中，您可以从 Manage Configuration Group link 在 Group drop down[=33 旁边的 Configs 选项卡上可见=].创建配置组时，您会找到选择要应用配置的节点的选项。一旦为各个节点创建了配置，就可以通过重新启动 YARN 服务来应用更改。关注 Heterogeneous Configuration 了解如何配置。