RDD任务失败重计算会不会造成数据重复处理？

Question

当某个特定任务失败导致RDD从沿袭中重新计算（可能通过再次读取输入文件）时，Spark如何确保不重复处理数据？如果失败的任务已将一半数据写入某些输出（如 HDFS 或 Kafka）怎么办？它会再次重写那部分数据吗？ 这与exactly once处理有关吗？

Answer 1

默认情况下的输出操作具有至少一次语义。 foreachRDD 函数在 worker 故障时会执行多次，从而多次将相同的数据写入外部存储。有两种方法可以解决这个问题，幂等更新和事务更新。它们将在以下部分进一步讨论

进一步阅读

http://shzhangji.com/blog/2017/07/31/how-to-achieve-exactly-once-semantics-in-spark-streaming/