我们应该将 airflow scheduler 运行 保留多长时间?
How long should we keep the airflow scheduler running?
我对气流如何使用调度程序获取新 DAG 代码中的更改感到非常困惑。
有人可以阐明气流调度程序如何使用新代码吗?每次更改 DAG 中的代码时,我是否需要停止并重新运行 airflow scheduler
?或者我可以在每次进行新更改时只设置 --num_runs 1
和 运行 吗?
谢谢!
调度程序应该一直 运行ning。你应该 运行 airflow scheduler
没有 num_runs
参数。 scheduler 被设计成一个长 运行ning 进程,无限循环。它协调正在完成的工作,它是气流的核心。如果不是 运行ning,则说明您没有安排更多工作要做。
循环的每次迭代都会重新加载所谓的 DagBag
,即已加载 DAG 的集合。对 DAG 以及 removal/addition DAG 的任何修改都应反映在下一个调度程序循环中。
Airflow 的调度程序会定期并持续地检查 DAG 位置以扫描和刷新 DAG。如果您没有更改配置,则 每轮 .
之间只需暂停几秒钟即可完成
引入--num_run
参数不是为了刷新目的,而是为了可靠性:
Airflow 官方建议 here 调度程序应该使用 num_runs
and/or run_duration
配置参数频繁重启 。
我对气流如何使用调度程序获取新 DAG 代码中的更改感到非常困惑。
有人可以阐明气流调度程序如何使用新代码吗?每次更改 DAG 中的代码时,我是否需要停止并重新运行 airflow scheduler
?或者我可以在每次进行新更改时只设置 --num_runs 1
和 运行 吗?
谢谢!
调度程序应该一直 运行ning。你应该 运行 airflow scheduler
没有 num_runs
参数。 scheduler 被设计成一个长 运行ning 进程,无限循环。它协调正在完成的工作,它是气流的核心。如果不是 运行ning,则说明您没有安排更多工作要做。
循环的每次迭代都会重新加载所谓的 DagBag
,即已加载 DAG 的集合。对 DAG 以及 removal/addition DAG 的任何修改都应反映在下一个调度程序循环中。
Airflow 的调度程序会定期并持续地检查 DAG 位置以扫描和刷新 DAG。如果您没有更改配置,则 每轮 .
之间只需暂停几秒钟即可完成引入--num_run
参数不是为了刷新目的,而是为了可靠性:
Airflow 官方建议 here 调度程序应该使用 num_runs
and/or run_duration
配置参数频繁重启 。