如何在 spark 中找到动作的作业 ID？
How to find the job id of an action in spark?
我想在 spark 中取消一个作业，因为有时它需要更多的时间而且还没有完成。当我们调用一个动作时，就会创建一个工作。
例如，当我打电话给 collect 时，它需要更多时间才能完成。我想取消这个动作的工作。
我不使用 spark-submit，我在 Scala 代码中创建 SparkContext。我的应用程序是基于 GraphX 的基于 Web 的应用程序。
我如何在 spark 中执行此操作？
我想你正在找这个。
val res = spark.sparkContext.applicationId
print(res)
//local-1593342096634res: String = local-1593342096634
我找到了答案，
SparkContext.CancelGroupJob() 可以帮助解决问题。下面link介绍解决方法。
CancelJobGroup
我想在 spark 中取消一个作业，因为有时它需要更多的时间而且还没有完成。当我们调用一个动作时，就会创建一个工作。 例如，当我打电话给 collect 时，它需要更多时间才能完成。我想取消这个动作的工作。 我不使用 spark-submit，我在 Scala 代码中创建 SparkContext。我的应用程序是基于 GraphX 的基于 Web 的应用程序。
我如何在 spark 中执行此操作？
我想你正在找这个。
val res = spark.sparkContext.applicationId
print(res)
//local-1593342096634res: String = local-1593342096634
我找到了答案，
SparkContext.CancelGroupJob() 可以帮助解决问题。下面link介绍解决方法。 CancelJobGroup