调度程序未选择 Airflow Packaged dags(Zip)

Question

我正在尝试将 packaged dag 与 Celery Executor 一起使用，但调度程序和工作程序没有接管工作。我已经重新启动了 airflow webserver 和 airflow scheduler 但仍然没有成功。我什至用 airflow resetdb 重置了数据库，但仍然没有。

我收到以下消息：-

[INFO] Handling signal: ttou
[INFO] Worker exiting (pid: 31418)
[INFO] Handling signal: ttin
[INFO] Booting worker with pid: 32308

DAG 不是运行手动的，甚至不是由调度程序选择的。

我的 zip 文件包含以下内容：

unzip alerting.zip   

creating: airflow_utils/
inflating: airflow_utils/enums.py  
inflating: airflow_utils/psql_alerting_dag.py  
extracting: airflow_utils/__init__.py  
inflating: airflow_utils/hive_alerting_dag.py  
inflating: airflow_utils/alerting_utils.py  
inflating: alerting_12hrs.py       
inflating: alerting_15mins.py      
inflating: alerting_3hrs.py

如果我将所有这些文件放在 dags 文件夹中而不是打包它们，airflow scheduler 能够安排 dags。

我对打包的狗做错了什么？

Answer 1

我使用的是 Airflow 1.8.1，它在从 zips 加载 dag 时遇到问题。此问题已在 1.8.3 中修复。 https://issues.apache.org/jira/browse/AIRFLOW-1357

调度程序未选择 Airflow Packaged dags(Zip)

Airflow Packaged dags(Zip) not picked by scheduler

python

airflow

airflow-scheduler