气流可以用于 运行 永无止境的任务吗？

Question

我们可以通过将 task/dag 超时设置为 None 并手动使用 airflow dag 来定义永无止境的作业（即具有无条件循环以使用流数据的任务）触发它的 运行？让气流监测永无止境的任务会导致问题吗？ 谢谢

Answer 1

通过 Airflow 运行 这有点奇怪，但是是的，我认为这不是问题。请注意，如果您重新启动 worker 运行ning 作业（假设是 CeleryExecutor），如果未设置 retries，您将中断任务并需要再次手动启动它。还要确保 DAG 设置 execution_timeout=None（默认）。

Answer 2

您可以使用一个传感器来监控 "data exists"，然后触发一个 dag 进行一些处理。这是你想要的吗？请告诉我。