Airflow Scheduler 需要每天手动启动
Airflow Scheduler needs to be manually started each day
我是 Apache Airflow 的新手。我在 Google 云虚拟机上安装了气流。我有两条管道 运行ning 从 API 获取数据并将它们存储到 BigQuery。
我面临的问题是气流调度程序不会自动 运行ning。我必须每天使用“airflow scheduler”命令手动 运行 它。第二天,当我打开 Airflow 时,我看到消息“The scheduler does not appear to be 运行ning”。然后我必须再次手动 运行 te 命令来启动调度程序。
我正在使用顺序执行器。跟这个有关系吗
有没有其他人遇到过这个问题。
可能是因为您在 fg
中 运行 scheduler
command/process 并关闭了会话。
使用此命令尝试 运行 调度程序作为守护进程。
airflow scheduler -D
这是我解决问题的方法。
- 我把数据库改成了postgreSQL,执行器改成了LocalExecutor。
- 我创建了两项服务:一项用于气流网络服务器,另一项用于气流调度器。我 运行 作为 root 用户执行命令。
下面是我得到帮助的link。
https://medium.com/@achilleus/easy-way-to-manage-your-airflow-setup-b7c030dd1cb8
感谢大家分享您的答案。
我是 Apache Airflow 的新手。我在 Google 云虚拟机上安装了气流。我有两条管道 运行ning 从 API 获取数据并将它们存储到 BigQuery。 我面临的问题是气流调度程序不会自动 运行ning。我必须每天使用“airflow scheduler”命令手动 运行 它。第二天,当我打开 Airflow 时,我看到消息“The scheduler does not appear to be 运行ning”。然后我必须再次手动 运行 te 命令来启动调度程序。 我正在使用顺序执行器。跟这个有关系吗
有没有其他人遇到过这个问题。
可能是因为您在 fg
中 运行 scheduler
command/process 并关闭了会话。
使用此命令尝试 运行 调度程序作为守护进程。
airflow scheduler -D
这是我解决问题的方法。
- 我把数据库改成了postgreSQL,执行器改成了LocalExecutor。
- 我创建了两项服务:一项用于气流网络服务器,另一项用于气流调度器。我 运行 作为 root 用户执行命令。
下面是我得到帮助的link。 https://medium.com/@achilleus/easy-way-to-manage-your-airflow-setup-b7c030dd1cb8
感谢大家分享您的答案。