在 Spark UI 中,任务状态为 GET RESULT 是什么意思?
In the Spark UI, what does it mean when a task has a status of GET RESULT?
我有一个 Spark 作业,它使用 Spark ML 的逻辑回归训练模型。在树聚合阶段的阶段详细信息页面下的 Spark UI 中,我看到一些状态为 "GET RESULT".
的任务
这个状态是什么意思?是什么导致任务处于此状态?
如果您检查 TaskInfo
,您会看到 "GET RESULT" status
需要将 gettingResult
设置为 true
,这发生在 gettingResultTime
不为零。
最后gettingResultTime
表示:
The time when the task started remotely getting the result. Will not be set if the
task result was sent immediately when the task finished (as opposed to sending an
IndirectTaskResult and later fetching the result from the block manager).
总而言之,这意味着任务已经完成,结果已从块管理器中获取。
我有一个 Spark 作业,它使用 Spark ML 的逻辑回归训练模型。在树聚合阶段的阶段详细信息页面下的 Spark UI 中,我看到一些状态为 "GET RESULT".
的任务这个状态是什么意思?是什么导致任务处于此状态?
如果您检查 TaskInfo
,您会看到 "GET RESULT" status
需要将 gettingResult
设置为 true
,这发生在 gettingResultTime
不为零。
最后gettingResultTime
表示:
The time when the task started remotely getting the result. Will not be set if the task result was sent immediately when the task finished (as opposed to sending an IndirectTaskResult and later fetching the result from the block manager).
总而言之,这意味着任务已经完成,结果已从块管理器中获取。