在气流中协调并行任务的替代方法是什么

Question

我最近开始完美地使用 apache airflow 和我的 dags 和工作流 运行，但是，我正在寻找另一种方法来通过排除工作流中的任务来协调依赖关系。

下面的代码产生以下结果

start >> spark_job >> sql_job>> [getfile,getfile2] >> t2>> [renamefile,renamefile2] >> t8>> t9 
>> t10>> end

我正在寻找一种方法来排除 sleep 任务，其中 get_file 直接连接到 Renam_file2 和 get_file2 连接到 Renam_file

Answer 1

数组之间不能有依赖关系，但可以分解依赖关系实现get_file到Rename_file的直连。

我确实接受了你在描述中提到的内容，但你确定要将 get_file 连接到 Renam_file2 吗？

start >> spark_job >> sql_job >> [getfile, getfile2] 
getfile >> renamefile2  # opposite??
getfile2 >> renamefile  # opposite??
[renamefile, renamefile2] >> t8 >> t9 >> t10 >> end