如何知道 Spark 作业的状态
How to know the state of Spark job
现在我在亚马逊 ec2 上有一份工作 运行,我使用 putty 连接 ec2 集群,但只知道 putty 的连接是 lost.After 我重新连接我拥有的 ec2 集群作业没有输出,所以我不知道我的作业是否还在running.Anybody知道如何检查 Spark 作业的状态吗?
谢谢
假设你在 yarn cluster 上,你可以 运行
纱线应用列表
获取应用程序列表,然后 运行
纱线应用-status applicationId
了解状态
在远程机器上工作时,最好使用 GNU Screen
(或其他类似工具)保持会话活动(但分离,如果与机器失去连接)。
可以从 Spark UI(或 Yarn UI)确定 Spark 应用程序的状态。
如果您正在寻找 cli 命令:
独立集群使用:
spark-submit --status <app-driver-id>
对于纱线:
yarn application --status <app-id>
现在我在亚马逊 ec2 上有一份工作 运行,我使用 putty 连接 ec2 集群,但只知道 putty 的连接是 lost.After 我重新连接我拥有的 ec2 集群作业没有输出,所以我不知道我的作业是否还在running.Anybody知道如何检查 Spark 作业的状态吗?
谢谢
假设你在 yarn cluster 上,你可以 运行 纱线应用列表 获取应用程序列表,然后 运行 纱线应用-status applicationId 了解状态
在远程机器上工作时,最好使用 GNU Screen
(或其他类似工具)保持会话活动(但分离,如果与机器失去连接)。
可以从 Spark UI(或 Yarn UI)确定 Spark 应用程序的状态。
如果您正在寻找 cli 命令:
独立集群使用:
spark-submit --status <app-driver-id>
对于纱线:
yarn application --status <app-id>