在 Apache Spark 中，同一个 Stage 中的任务是否同时工作？

Question

同一阶段的任务是否同时工作？如果是这样，阶段中分区之间的线指的是什么？ example of a DAG

Answer 1

这里有一个很好的 link 供您阅读。详细解释了 DAG 以及一些其他可能感兴趣的内容。 databricks blog on DAG

我可以试着解释一下。在创建每个阶段时，它都有一组划分的任务。遇到动作时。驱动程序将任务发送给执行程序。根据数据的分区方式，对分布式集群中的数据调用 N 个任务。所以你看到的箭头是执行计划。因为它不能在读取文件之前执行映射功能。每个有一些数据的节点将按照 DAG 提供的顺序执行这些任务。