无法在通过 Kubernetes 部署的 Airflow 中查看任务日志

Question

我无法查看我在 Kubernetes 上部署的 Airflow 实例中登录的任何日志。

例如我正在使用 logging.info('Log Started') 记录一些东西，但它从未出现在 UI 中。即使在只有日志的测试 Dag 中，我也看不到任何日志。

当前正在使用 Airflow 2.0.2 版本并使用 Kubernetes 执行器通过其最新的 Helm 图表安装它。

我还必须在 helm 文件中将 "AIRFLOW__KUBERNETES__DELETE_WORKER_PODS" 设置为 false 以查看其中一些日志，因为我的工作人员正在完成，但我无法看到我尝试登录的任何内容气流 UI.

我还需要设置什么才能正确查看我的任务日志记录？

Answer 1

所以这真的很奇怪，我正在使用天文学家图表，在 values.yml 文件的环境选项中设置这些值后，我能够查看这些日志。

# Environment variables for all airflow containers
# other than init containers.
env: 
  - name: "AIRFLOW__KUBERNETES__DELETE_WORKER_PODS"
    value: "false"
  - name: "AIRFLOW__WEBSERVER__LOG_FETCH_TIMEOUT_SEC"
    value: "15"
  - name: "AIRFLOW__LOGGING__LOGGING_LEVEL"
    value: "INFO"
  - name: "AIRFLOW__LOGGING__REMOTE_LOGGING"
    value: "True"
  - name: "AIRFLOW__LOGGING__REMOTE_LOG_CONN_ID"
    value: "azure"
  - name: "AIRFLOW__LOGGING__REMOTE_BASE_LOG_FOLDER"
    value: "wasb_logs"

很奇怪，因为即使我没有在 UI 中输入连接，我也能够看到那些日志。我猜它们可能暂时存放在某个地方。指定连接后，我可以在触发第二个 DAG 后看到我的 Azure Blob 存储中的日志（我猜它会在一段时间后获取连接）。

无法在通过 Kubernetes 部署的 Airflow 中查看任务日志

Unable to see Task logs in Airflow Deployed via Kubernetes

logging

kubernetes

airflow