不合理的纱线集群指标
unreasonable yarn cluster metrics
我使用 spark 和 yarn 已经有一段时间了，并且基本上掌握了所有 spark-submit 参数。我目前正在使用一个 5 节点 EMR 集群，1 个主节点和 4 个工作节点，全部 M3.xlarge，其规格为 4 个 vCore。 （实际上，当我ssh进入机器并检查时，实际上只有3个核心。）
但是，当我将作业提交到 emr 时
spark-submit --master yarn --class myclass --num-executors 9 --executor-cores 2 --executor-memory 500M my.jar
yarn控制台总是显示我总共有32个vCore，使用了4个vCore，活动节点数为4。
所以这个 vCore 总数真是个谜。怎么可能有 32 个 vCore？即使算上主节点，也有 5 * 4 vCores = 20。不算主节点，活跃的工作节点确实是 4。这将使总 vCore 计数为 16，而不是 32。有人可以解释一下吗？
您 运行 使用的硬件使用超线程技术。这允许每个物理内核作为两个虚拟内核工作。您的四台工作机器有 4 个物理内核，但实际上对应于 8 个虚拟内核。
我使用 spark 和 yarn 已经有一段时间了，并且基本上掌握了所有 spark-submit 参数。我目前正在使用一个 5 节点 EMR 集群，1 个主节点和 4 个工作节点，全部 M3.xlarge，其规格为 4 个 vCore。 （实际上，当我ssh进入机器并检查时，实际上只有3个核心。）
但是，当我将作业提交到 emr 时
spark-submit --master yarn --class myclass --num-executors 9 --executor-cores 2 --executor-memory 500M my.jar
yarn控制台总是显示我总共有32个vCore，使用了4个vCore，活动节点数为4。
所以这个 vCore 总数真是个谜。怎么可能有 32 个 vCore？即使算上主节点，也有 5 * 4 vCores = 20。不算主节点，活跃的工作节点确实是 4。这将使总 vCore 计数为 16，而不是 32。有人可以解释一下吗？
您 运行 使用的硬件使用超线程技术。这允许每个物理内核作为两个虚拟内核工作。您的四台工作机器有 4 个物理内核，但实际上对应于 8 个虚拟内核。