EMR spark 不尊重执行者 conf 的数量
EMR spark not honoring number of executor conf
我将 --num-executor 与 EMR spark-submit 一起使用，但 conf 没有得到兑现。即使我将作业设置为 --num-executor 1，该作业也会与多个执行程序一起运行。我尝试使用不同的 EC2 实例类型，它默认运行的执行程序数量似乎因实例类型而异。
我想动态分配已激活。您必须在 spark 配置中禁用此参数或像这样发送 spark-submit 行：
spark-submit --conf spark.dynamicAllocation.enabled=false --class ...
我将 --num-executor 与 EMR spark-submit 一起使用，但 conf 没有得到兑现。即使我将作业设置为 --num-executor 1，该作业也会与多个执行程序一起运行。我尝试使用不同的 EC2 实例类型，它默认运行的执行程序数量似乎因实例类型而异。
我想动态分配已激活。您必须在 spark 配置中禁用此参数或像这样发送 spark-submit 行：
spark-submit --conf spark.dynamicAllocation.enabled=false --class ...