为什么spark环境参数和executors不一致?
Why spark environment parameters is not consistent with executors?
我是 运行 我在 EMR 上的 spark 应用程序。在火花历史 UI 中,在 environment
选项卡下,spark.executor.instances
等于 1
。但是,在 executors
选项卡下,它显示总共有 9
个执行程序,包括 1
个驱动程序。
为什么会这样?
spark.executor.instances
这个设置为初始核心节点数加上集群中的任务节点数
executors
是每个执行器可以并行执行的任务数
这个link将有助于解释各种含义和选项:
我是 运行 我在 EMR 上的 spark 应用程序。在火花历史 UI 中,在 environment
选项卡下,spark.executor.instances
等于 1
。但是,在 executors
选项卡下,它显示总共有 9
个执行程序,包括 1
个驱动程序。
为什么会这样?
spark.executor.instances
这个设置为初始核心节点数加上集群中的任务节点数
executors
是每个执行器可以并行执行的任务数
这个link将有助于解释各种含义和选项: