YARN 作业处于接受状态的时间
Time spent in accepted state by a YARN job
如何检查 Spark 作业在分配资源之前处于接受状态的时间?我可以在 YARN UI 中检查它吗?或者 Spark 是否为此发布了一些遥测数据?我们可以看到作业为 运行 时的状态,但是我们如何查看旧作业的状态?
在 yarn 日志中查找状态变化
<timestamp> INFO impl.YarnClientImpl: Submitted application application_XXX
<timestamp> INFO yarn.Client: Application report for application_XXXX (state: ACCEPTED)
然后,你可以捕获状态改变时的时间差异。
如何检查 Spark 作业在分配资源之前处于接受状态的时间?我可以在 YARN UI 中检查它吗?或者 Spark 是否为此发布了一些遥测数据?我们可以看到作业为 运行 时的状态,但是我们如何查看旧作业的状态?
在 yarn 日志中查找状态变化
<timestamp> INFO impl.YarnClientImpl: Submitted application application_XXX
<timestamp> INFO yarn.Client: Application report for application_XXXX (state: ACCEPTED)
然后,你可以捕获状态改变时的时间差异。