EMR 5.13:Spark 2.3.0 UI 显示 Executors 还活着
EMR 5.13: Spark 2.3.0 UI shows Executors remain alive
自从我升级到 EMR 5.13
后,我一直在 Spark
和 YARN
UI 上看到奇怪的指标.
在此特定实例中:
YARN
显示进程已完成
Ganglia
显示 cluster 自上次(第 118 次)作业 完成后一直处于 空闲状态
Spark
UI也说明我的118任务全部完成
即便如此,Spark
UI 报告所有 Executor
都还活着,时间很长(撰写本文时超过 1 小时)在最后一个 job 完成后。
这可能是 UI 故障还是有其他问题?
框架/平台:
EMR 5.13
Spark 2.3.0
Hive 2.3.2
Hadoop: Amazon 2.8.3
在您的屏幕上有一个有活动任务的执行者被标记为已死。它显示终止时的统计信息。
如您所见,执行程序#5 在终止前已处理了 624 个任务。然后 yarn 启动了一个新的执行器 #9 而不是完成了 76 个任务
自从我升级到 EMR 5.13
后,我一直在 Spark
和 YARN
UI 上看到奇怪的指标.
在此特定实例中:
YARN
显示进程已完成Ganglia
显示 cluster 自上次(第 118 次)作业 完成后一直处于 空闲状态
Spark
UI也说明我的118任务全部完成
即便如此,Spark
UI 报告所有 Executor
都还活着,时间很长(撰写本文时超过 1 小时)在最后一个 job 完成后。
这可能是 UI 故障还是有其他问题?
框架/平台:
EMR 5.13
Spark 2.3.0
Hive 2.3.2
Hadoop: Amazon 2.8.3
在您的屏幕上有一个有活动任务的执行者被标记为已死。它显示终止时的统计信息。
如您所见,执行程序#5 在终止前已处理了 624 个任务。然后 yarn 启动了一个新的执行器 #9 而不是完成了 76 个任务