在 Livy 提交中为 Spark 作业配置（不）重试

Question

当通过 Livy 提交长 运行 Spark 批处理作业时，该作业默认重试五次，这需要很长时间才能最终失败。我如何更改此设置以便作业立即失败？

我的环境是 Spark 1.6，运行 在 Azure HDInsight (HDP) 上。

谢谢！

Answer 1

这是你的 yarn 上的配置，而不是 Livy 上的配置。 转到 "Advanced yarn-site" 下的 yarn 配置页面，如果您不想重试，请将 "yarn.resourcemanager.am.max-attempts" 从 5 更改为 1。