Spark SQL 如何允许部分任务失败但整体作业仍然成功？

Question

我有一个 Spark 作业，其中一小部分任务不断失败，导致整个作业失败，并且没有任何内容输出到 table 结果应该去的地方。有没有办法让 Spark 容忍一些失败的任务并仍然写入成功任务的输出？我实际上并不需要 100% 的数据才能通过，所以我可以接受一些失败的任务。

Answer 1

不，那是不可能的，这不是 Spark 设计的一部分。不也是一个答案。