Airflow Scheduler 需要每天手动启动

Airflow Scheduler needs to be manually started each day

我是 Apache Airflow 的新手。我在 Google 云虚拟机上安装了气流。我有两条管道 运行ning 从 API 获取数据并将它们存储到 BigQuery。 我面临的问题是气流调度程序不会自动 运行ning。我必须每天使用“airflow scheduler”命令手动 运行 它。第二天,当我打开 Airflow 时,我看到消息“The scheduler does not appear to be 运行ning”。然后我必须再次手动 运行 te 命令来启动调度程序。 我正在使用顺序执行器。跟这个有关系吗

有没有其他人遇到过这个问题。

可能是因为您在 fg 中 运行 scheduler command/process 并关闭了会话。

使用此命令尝试 运行 调度程序作为守护进程。

airflow scheduler -D

这是我解决问题的方法。

  1. 我把数据库改成了postgreSQL,执行器改成了LocalExecutor。
  2. 我创建了两项服务:一项用于气流网络服务器,另一项用于气流调度器。我 运行 作为 root 用户执行命令。

下面是我得到帮助的link。 https://medium.com/@achilleus/easy-way-to-manage-your-airflow-setup-b7c030dd1cb8

感谢大家分享您的答案。