气流调度器

Airflow Scheduler

您好,我目前正在尝试在 EC2 集群的 ubuntu 16.04 上使用 SequentialExecutor 设置最简单的 Airflow 版本。

我每 5 分钟创建一个指向 运行 的 dag,但是 dag 运行s 卡在队列中,除非我通过 ssh 进入服务器,运行 airflow scheduler 并让该终端 window 打开。

有没有办法不必让 window 打开?

您可以 运行 将调度程序作为守护进程传递给它 --daemon 标志。它将 运行 作为后台进程,因此即使在您关闭 window 后它仍保持活动状态。可以在 worker 和 webserver 上使用相同的标志。

-D, --daemon          Daemonize instead of running in the foreground

或者,您也可以 运行 airflow as a service with systemd. Airflow has some example config files 您可以参考。

正如 Daniel 所说,您需要将调度程序守护进程,以便它在后台保持 运行。你可以看看 Airflow documentation with systemd / upstart.