如何在 AWS 数据块上设置 spark.task.maxFailures？

Question

我想将 spark.task.maxFailures 设置为大于 4 的值。使用 Databricks 6.4 运行时，我该如何设置这个值？

当我执行 spark.conf.get("spark.task.maxFailures") 时，出现以下错误

java.util.NoSuchElementException: spark.task.maxFailures

以前有人在数据块上设置过这个吗？

我知道我可以使用

进行设置

spark.conf.set("spark.task.maxFailures", 10)

但是不确定这是必须在集群启动时设置还是可以在之后设置？

Answer 1

您可以在集群高级部分更新所需的 spark conf 集。