如何更改 Airflow web ui 的 dag 包文件夹？

Question

Airflow 调度程序正在根据 airflow.cfg 文件中的设置从正确的文件夹中拾取 dag。然而，Airflow ui 网络服务器正在从错误的文件夹中挑选 dags。我通过查看终端的标准输出意识到这一点，其中 airflow webserver 是运行: [2018-10-08 14:26:48,519] [15535] {models.py:167} INFO - Filling up the DagBag from /home/aviral/airflow/dags

注意，我的 airflow.cfg 文件有：

# The folder where your airflow pipelines live, most likely a
# subfolder in a code repository
# This path must be absolute
dags_folder = /home/aviral/dev/airflow_learning/airflow_home/dags

Answer 1

在我看来，您安装了多个 Airflow。我认为您必须检查管理 -> 配置菜单中的 UI。

这将告诉您哪个 Airflow 处于活动状态并设置为 AIRFLOW_HOME 和 AIRFLOW_CONFIG。

如果未设置 AIRFLOW_CONFIG 环境变量，它将始终默认为您的主目录。您必须将其设置为如下所示： AIRFLOW_CONFIG=$AIRFLOW_HOME/airflow.cfg.

Answer 2

使用以下命令更改 Dag 文件夹。

打开终端的.bashrc 或.zshrc 用户文件

vi ~/.bashrc

在文件中添加以下命令

 export AIRFLOW_HOME='/var/www/html/airflow'
 export AIRFLOW_CONFIG=$AIRFLOW_HOME/airflow.cfg

运行使用以下命令生成 .bashrc 文件。

source ~/.bashrc

现在，如果您运行 airflow 网络服务器，它将从 AIRFLOW_HOME/dags 目录中选择 dags。

如何更改 Airflow web ui 的 dag 包文件夹？

How to change the dag bag folder for Airflow web ui?

python

python-3.x

airflow

airflow-scheduler