在 error/interruption 上通过 unix shell 在 yarn 集群模式下杀死 spark 流作业 运行
Killing spark streaming job running on yarn cluster mode through unix shell on error/interruption
我有 shell 脚本，它在 Yarn 集群中初始化火花流作业 mode.I 已经通过 Autosys 安排了 shell 脚本。现在，当我终止 autosys 作业时，我也想在集群模式下终止这个 spark 作业 运行。
我尝试在 shell 脚本中使用 yarn application -kill 错误 return 代码，但它没有被执行。
但是
我可以从另一个 shell window 处终止这份工作。
yarn application -kill 命令在那里完美运行并终止应用程序。
是否有任何解决方法可以通过相同的 shell 在中断时（自动）终止集群模式作业？
错误 return 代码逻辑 -> 运行 yarn application -kill <$appid> as orphan process .
我有 shell 脚本，它在 Yarn 集群中初始化火花流作业 mode.I 已经通过 Autosys 安排了 shell 脚本。现在，当我终止 autosys 作业时，我也想在集群模式下终止这个 spark 作业 运行。
我尝试在 shell 脚本中使用 yarn application -kill 错误 return 代码，但它没有被执行。
但是
我可以从另一个 shell window 处终止这份工作。
yarn application -kill 命令在那里完美运行并终止应用程序。
是否有任何解决方法可以通过相同的 shell 在中断时（自动）终止集群模式作业？
错误 return 代码逻辑 -> 运行 yarn application -kill <$appid> as orphan process .