AWS 托管气流不获取日志

Question

我正在使用 AWS Managed Airflow 来编排数据管道。我现在面临的问题是日志没有打印在气流日志中，而不是在云手表上。

我在气流日志中收到以下错误：

*** Reading remote log from Cloudwatch log_group: airflow-Task log_stream: 2021-08-26T08_08_24+00_00/1.log.
Could not read remote logs from log_group: airflow-Task log_stream: 2021-08-26T08_08_24+00_00/1.log.

Answer 1

A​​WS 有针对此特定案例的故障排除指南。

*** Reading remote log from Cloudwatch log_group: airflow-{environmentName}-Task log_stream: {DAG_ID}/{TASK_ID}/{time}/{n}.log.Could not read remote logs from log_group: airflow-{environmentName}-Task log_stream: {DAG_ID}/{TASK_ID}/{time}/{n}.log.

https://docs.aws.amazon.com/mwaa/latest/userguide/t-cloudwatch-cloudtrail-logs.html#t-task-logs

我会检查以下内容：

1. 确认您在 INFO 级别为您的环境启用了任务日志。
2. 检查 MWAA 执行角色是否附加了 CloudWatch 读取访问策略。
3. 最终尝试将 apache-airflow[amazon] 提供商添加到 MWAA 要求文件。

Answer 2

这是一个与角色和策略相关的问题。

MWAA 执行角色没有附加所需的 CloudWatch 访问策略。