如何在无需重启气流网络服务器的情况下更新气流中的 python 功能

Question

我正在学习使用气流来安排一些 python ETL 进程。每次我更新我的 python 代码时，我都必须重新启动网络服务器并重命名 DAG，然后代码更改才会被气流接收。有什么办法吗，特别是这样我就不必每次更改都重命名我的 DAG 了吗？

Answer 1

在网络服务器上，更改可能不明显，但您可以单击您修改的 DAG 旁边的刷新按钮，它将手动重新加载 DAG。

调度程序将始终使用最新代码，无需重新启动。

看这里：https://gtoonstra.github.io/etl-with-airflow/gotchas.html

Answer 2

这个URL： http://airflowhost:8080/admin/airflow/refresh_all

刷新所有dags

Answer 3

这是当前版本的一个问题。我通常做的是复制 DAG 并更改其名称，以便它反映在 Web 服务器中。一旦我完成开发，我会保留最后重命名并删除旧的。