为什么spark环境参数和executors不一致?

Why spark environment parameters is not consistent with executors?

我是 运行 我在 EMR 上的 spark 应用程序。在火花历史 UI 中,在 environment 选项卡下,spark.executor.instances 等于 1。但是,在 executors 选项卡下,它显示总共有 9 个执行程序,包括 1 个驱动程序。

为什么会这样?

spark.executor.instances这个设置为初始核心节点数加上集群中的任务节点数

executors是每个执行器可以并行执行的任务数

这个link将有助于解释各种含义和选项:

Submitting User Applications with spark-submit