EMR 5.13:Spark 2.3.0 UI 显示 Executors 还活着

EMR 5.13: Spark 2.3.0 UI shows Executors remain alive

自从我升级到 EMR 5.13 后,我一直在 SparkYARN UI 上看到奇怪的指标.

在此特定实例中:

即便如此,Spark UI 报告所有 Executor 都还活着,时间很长(撰写本文时超过 1 小时)在最后一个 job 完成后。


这可能是 UI 故障还是有其他问题?

框架/平台:

在您的屏幕上有一个有活动任务的执行者被标记为已死。它显示终止时的统计信息。

如您所见,执行程序#5 在终止前已处理了 624 个任务。然后 yarn 启动了一个新的执行器 #9 而不是完成了 76 个任务