如何通过 spark-submit 在不知道驱动程序 ID 的情况下关闭 spark 应用程序
How to shutdown a spark application without knowing driver Id via spark-submit
我们正在使用 DSE 分析。
我正在尝试使用 crontab 安排 spark 作业，
通过火花提交。基本上这份工作应该运行每天晚上，
当作业即将被提交以供后续使用时，现有的应用程序应该被杀死，我很难找到一种方法来做到这一点。
因为我无法找到提交作业的应用程序 ID 或驱动程序 ID，所以我可以正常关机。
我知道 Spark Master Web UI 可用于查找提交 ID，但如果我要为此设置一个 cron，我无法从 UI。
有没有正确的方法来做到这一点。
我们 运行ning DSE 6.7 with Analytics 运行ning 在专用的 DC 中。
任何帮助将不胜感激
因为你是这样 运行 的，所以驱动程序部署在 client 模式下，这意味着它在你的本地机器上执行，所以你可以用 kill 命令。你可以用这样的东西找到进程 ID
ps -aef|grep com.spark.Test|grep -v grep|awk '{print }'
我们正在使用 DSE 分析。 我正在尝试使用 crontab 安排 spark 作业， 通过火花提交。基本上这份工作应该运行每天晚上， 当作业即将被提交以供后续使用时，现有的应用程序应该被杀死，我很难找到一种方法来做到这一点。
因为我无法找到提交作业的应用程序 ID 或驱动程序 ID，所以我可以正常关机。
我知道 Spark Master Web UI 可用于查找提交 ID，但如果我要为此设置一个 cron，我无法从 UI。 有没有正确的方法来做到这一点。 我们 运行ning DSE 6.7 with Analytics 运行ning 在专用的 DC 中。 任何帮助将不胜感激
因为你是这样 运行 的，所以驱动程序部署在 client 模式下，这意味着它在你的本地机器上执行，所以你可以用 kill 命令。你可以用这样的东西找到进程 ID
ps -aef|grep com.spark.Test|grep -v grep|awk '{print }'