在最后一次 spark-submit 完成(或失败)+ xxx 时间后停止旋转

Spin down after last spark-submit completion (or failure) + xxx time

我正在使用 Amazon 的 EMR 集群,但我没有使用添加步骤 API。例如,如果它已经闲置 3 天,我想要一种关闭集群的方法。

如果我要构建它,我可能只是 运行 集群上的历史命令并查找最后一个 spark-submit 命令。有没有更好的方法?

最简单的方法是检查 yarn 作业列表。您可以显示 运行 个职位:

yarn application -list

-list 也为您提供了更多选项,您可能想要探索这些选项。