强制 Spark 在所有 YARN 执行器上分发任务

Question

我有一个包含 5 个节点的 Spark 集群。但是当我 运行 一个应用程序时，只使用了 2 个执行程序。如何在所有执行器上分配任务？

（这些并不总是使用相同的 2，但绝不会超过 2）

Answer 1

Yarn 默认使用 2 个内核。您必须设置 num-executors，并且可能还应该查看 executor-cores 选项。