如何确定 YARN 容器的正确数量？

Question

我的问题是关于YARN的配置。 如何确定集群中需要多少个容器？ 换句话说，我需要考虑什么才能为每个容器设置正确的 memory/cpu 数量？

有一些调整大小的最佳做法吗？

谢谢。

Answer 1

无法从 hortonworks 发表评论，但大小应该与 cloudera 相同

CPU

1 个 vcore 专用于 os 1 个 vcore 到 hdfs 数据节点 1 个 vcore 用于节点管理器 供应商代理的 1 个 vcore（这纯粹是为了 cloudera，假设有一个 ambari 等效项）

所有其他的我都会分配给纱线容器。我会将 vcore 多人游戏分配给 4

内存

为您预留一些OS，这取决于您的os，但它会在 4-8GB 之间 为你的 hdfs 数据节点和你的节点管理器带走 ram（每个最小 1gb） 带走为其他服务保留的任何额外 ram 分配其余的纱线。