k8s S3 日志记录上的 Airflow 2 不起作用

Question

我正在使用最新的 helm chart 在 k8s 上安装 Airflow 2.1.1。我的 s3 日志记录有问题 - 我不断收到错误消息：

*** Falling back to local log
*** Log file does not exist: /opt/airflow/logs/test_connection/send_slack_message/2021-07-16T08:48:27.337421+00:00/2.log
*** Fetching from: http://airflow2-worker-1.airflow2-worker.airflow2.svc.cluster.local:8793/log/test_connection/send_slack_message/2021-07-16T08:48:27.337421+00:00/2.log

在任务日志中。

这是图表值的相关部分：

AIRFLOW__LOGGING__REMOTE_LOGGING: "True"
AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID: "s3_logs"
AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER: "s3://.../temp/airflow_logs/stg"

s3_logs连接定义如下：

我错过了什么？

技术细节：

图表 - airflow-8.4.0
应用程序版本 - 2.1.1
eks 版本 - 1.17

Answer 1

所以看起来 S3 目标文件夹应该在写入第一个日志之前就已经存在，这样就解决了问题。希望对以后的人有所帮助！

k8s S3 日志记录上的 Airflow 2 不起作用

Airflow 2 on k8s S3 logging is not working

amazon-s3

airflow