终止 aws 中的火花步骤

terminating a spark step in aws

我想在 EMR spark 集群上设置一系列 spark 步骤,如果当前步骤花费的时间太长,则终止当前步骤。但是,当我通过 ssh 进入主节点和 运行 hadoop 作业列表时,主节点似乎认为没有作业 运行ning。我不想终止集群,因为这样做会迫使我为我 运行ning 中的任何集群购买一个全新的小时。谁能帮我终止 EMR 中的一个 spark-step 而不终止整个集群?

这很简单:

yarn application -kill [application id]

您可以使用

列出您的 运行 应用程序
yarn application -list

您可以从资源管理器中终止应用程序(在集群状态下右上角的链接中)。 在资源管理器中,点击你要杀掉的应用程序,在应用程序页面有一个小的"kill"标签(左上角)你可以点击杀掉应用程序。

显然你也可以使用 SSH,但我认为这种方式对某些用户来说更快更容易。