Airflow Papermill 操作员：任务在 60 分钟后从外部跳过

Question

我在 Docker 容器中使用 Airflow。我运行有多个 Jupyter 笔记本的 DAG。 60 分钟后我每次都会出现以下错误：

[2021-08-22 09:15:15,650] {local_task_job.py:198} WARNING - State of this instance has been externally set to skipped. Terminating instance.
[2021-08-22 09:15:15,654] {process_utils.py:100} INFO - Sending Signals.SIGTERM to GPID 277
[2021-08-22 09:15:15,655] {taskinstance.py:1284} ERROR - Received SIGTERM. Terminating subprocesses.
[2021-08-22 09:15:18,284] {taskinstance.py:1501} ERROR - Task failed with exception

我试图调整配置文件，但找不到删除 1 小时超时的好选项。任何帮助将不胜感激。

Answer 1

默认没有超时。当您的 DAG 定义 dagrun_timeout=timedelta(minutes=60) 并且执行时间超过 60 分钟时，活动任务将停止并记录消息“此实例的状态已被外部设置为跳过”。

Airflow Papermill 操作员：任务在 60 分钟后从外部跳过

Airflow Papermill operator: task externally skipped after 60 minutes

airflow

papermill