Apache Airflow 依赖项,如果任务是并行的怎么办?
Apache Airflow Dependencies, what if task are parallel?
假设我们有 3 个任务 `A,B,C` 按顺序 `A>>B>>C` 执行。
我正在使用 Apache Airflow 并创建一个将使用这 3 个任务的 DAG。
我必须写(其中任务 A 是 ta,任务 B 是 tb,任务 C 是 tc):
ta>>tb>>tc
但是如果在 A 之后它会转到 B 和 C 这两个并行任务呢?
我将如何编写依赖项?
最简单的方法如下
ta >> tb
ta >> tc
或
ta >> [tb, tc]
这将使 B
和 C
在 A
之后并行
可以在此处找到更多信息:https://airflow.apache.org/docs/stable/concepts.html#bitshift-composition
假设我们有 3 个任务 `A,B,C` 按顺序 `A>>B>>C` 执行。
我正在使用 Apache Airflow 并创建一个将使用这 3 个任务的 DAG。
我必须写(其中任务 A 是 ta,任务 B 是 tb,任务 C 是 tc):
ta>>tb>>tc
但是如果在 A 之后它会转到 B 和 C 这两个并行任务呢?
我将如何编写依赖项?
最简单的方法如下
ta >> tb
ta >> tc
或
ta >> [tb, tc]
这将使 B
和 C
在 A
可以在此处找到更多信息:https://airflow.apache.org/docs/stable/concepts.html#bitshift-composition