Hadoop MapReduce (Yarn) 使用不同 power/specifications 的主机
Hadoop MapReduce (Yarn) using hosts with different power/specifications
我目前在集群中有高功率 (cpu/ram) 主机，我们正在考虑添加一些存储良好但功率低的主机。
我担心它会降低作业性能。 Map/Reducers 来自新的（功能较弱的）主机会 运行 变慢，而功能更强大的主机将只需要等待结果。
有没有办法在 Yarn 中配置它？可能给hosts设置一个优先级，或者根据每台机器的核心数分配mapper/reducers。
谢谢，
霍拉修
在 YARN 中，您可以为每个集群工作者提供不同的硬件资源配置。然后 YARN 将决定可以为每个工作人员分配多少任务（容器）以平衡工作量。
换句话说，你可以在 yarn-site.xml 中为每个 worker 分别设置不同数量的内核和内存。
这两个配置选项与您相关：
yarn.nodemanager.resource.cpu-vcores 设置每个当前工作节点的 CPU 个核心数 yarn.nodemanager.resource.memory-mb设置当前工作节点可以使用的物理内存量（以MB为单位）
我目前在集群中有高功率 (cpu/ram) 主机，我们正在考虑添加一些存储良好但功率低的主机。
我担心它会降低作业性能。 Map/Reducers 来自新的（功能较弱的）主机会 运行 变慢，而功能更强大的主机将只需要等待结果。
有没有办法在 Yarn 中配置它？可能给hosts设置一个优先级，或者根据每台机器的核心数分配mapper/reducers。
谢谢， 霍拉修
在 YARN 中，您可以为每个集群工作者提供不同的硬件资源配置。然后 YARN 将决定可以为每个工作人员分配多少任务（容器）以平衡工作量。
换句话说，你可以在 yarn-site.xml 中为每个 worker 分别设置不同数量的内核和内存。
这两个配置选项与您相关：
yarn.nodemanager.resource.cpu-vcores设置每个当前工作节点的 CPU 个核心数yarn.nodemanager.resource.memory-mb设置当前工作节点可以使用的物理内存量（以MB为单位）