具有时间限制和触发的 Apache Airflow 调度

Question

我在 celery Executor 中使用 airflow。现在，我计划为一项任务开发用户交互，以决定在 DAG 中使用 BranchOperator 进行 select 分支。它通过 运行 连续循环来检查数据库中的值。但我觉得这不是好的方法。有没有其他方法可以做到这一点？

我想在特定时间等待此交互，否则我想停止。有可能在气流中做到这一点吗？如果可能的话，是否有可能动态地改变这个时间限制？

提前致谢。

Answer 1

您不应该为此使用 BranchOperator。如果你想根据数据库中的某个值在你的 dag 中继续，你应该使用传感器。气流中有一些现成的传感器，您也可以查看其中的一些来创建自己的传感器。传感器基本上会在可配置的时间段后轮询特定标准和超时。从你的问题来看，这似乎正是你所需要的。