杀死单个火花任务

Kill a single spark task

我有一个很长的 Spark 作业，其中有少量任务目前已停止。有什么办法可以从驱动程序节点中终止那些停滞的任务吗？

出于权限原因，我可以登录，但不能终止从属节点上的作业，因此我正在寻找一种仅从驱动程序节点执行此操作的方法。请注意，我不想终止整个 Spark 作业 - 只是一两个停滞的任务。

如果有帮助，我正在使用 Mesos 并可以访问网络 UI，但它不包含终止任务的选项。

不，不是真的。

您无法手动终止单个 spark 任务，但是您可以使用 spark 推测自动确定哪些任务花费的时间过长并主动重启它们。

如果您想这样做，请将 spark.speculation 设置为 true 并[如果您敢] 修改 spark.speculation.interval、spark.speculation.multiplier、spark.speculation.quantile 配置选项。