多个任务作为一个组进行气流重试

Question

我有一组任务应该 运行 作为一个单元，从这个意义上说，如果组中的任何任务失败，整个组都应该被标记为失败。

我希望能够在失败时重试该组。

例如，我有一个包含这些任务的 DAG：

taskA >> (taskB >> taskC) >> taskD

我想说(taskB >> taskC)是一组

如果 taskB 或 taskC 失败，我希望能够重新运行 整个组 (taskB >> taskC)。

Answer 1

这是一个由两部分组成的问题。

首先，Airflow中的下游任务无法影响上游任务。假设结构：

taskA >> taskB >> taskC >> taskD

然后如果 taskB 成功并且 taskC 失败。它无法将 taskB 的状态更改为失败。

其次，清除（重新运行）任务组是一项当前不可用的功能。在 Airflow 回购中有一个开放的功能请求。可以在这个link.

查看