如何知道是什么导致 Apache Airflow 中的简单 DAG 失败？

Question

我是 Apache Airflow 的新手。我想创建一个简单的 DAG，其中包含一个在虚拟环境中启动 python 脚本的任务：

from airflow import DAG
from datetime import datetime, timedelta
from airflow.operators.bash import BashOperator
with DAG("Inference_DAG", 
        start_date=datetime(2022,1,1), 
        schedule_interval=timedelta(hours=12), 
        catchup=False,
        max_active_runs=1
        ) as dag:

    task_a = BashOperator(
        task_id="Inference_task_a",
        bash_command="/home/xfd/folder/env/bin/python3 compute.py",
        retries =1,

    )

触发DAG失败。

我如何才能更多地了解导致失败的原因？我已经看到 Airflow 与 Sentry 集成 (https://airflow.apache.org/docs/apache-airflow/stable/logging-monitoring/errors.html?highlight=error)。但是，对于像这样的简单 dag 来说，它可能有点矫枉过正。

理想情况下，我希望获得控制台命令的输出 /home/xfd/folder/env/bin/python3 compute.py 以便轻松调试出错的地方。我如何在 Apache Airflow 中跟踪像这样的简单 DAG 的错误？

Answer 1

如果你进入DAG并点击红色的任务，你可以点击“日志”，在那里你会看到错误

如何知道是什么导致 Apache Airflow 中的简单 DAG 失败？

How to know what caused a simple DAG in Apache Airflow to fail?

python

airflow

airflow-2.x