在 DAG 中使用 boto3 时，Apache 气流无法找到 AWS 凭证

Question

运行 ECS Fargate 上的一个 Airflow 实例。问题是我无法运行调用 DAG 中现有 Glue 作业的代码。下面是DAG脚本。

import boto3
import os
import logging
import time
import sys
import botocore
from datetime import datetime, timedelta
from airflow import DAG
from airflow.operators.python_operator import PythonOperator
from airflow.operators.bash_operator import BashOperator
from airflow.providers.amazon.aws.sensors.s3_key import S3KeySensor

default_args = {
    'owner': 'test',
    'start_date': datetime(2021, 1, 4),
    'depends_on_past': False,
    'provide_context': True
}

dag = DAG('run_glue_job',
          description='Executes Glue job.',
          schedule_interval=None,
          catchup=False,
          default_args=default_args)

def task_1(**kwargs):
    print('recieved trigger')

    glue = boto3.client('glue', 'us-east-1')
    response = glue.start_job_run(JobName='airflow-dev-job')
    print(response['JobRunId'])

    return response['JobRunId']

def task_2(**kwargs):
    print('send email message')

    return 'passed' 

t1 = PythonOperator(
    task_id = 'execute_glue_job',
    dag = dag,
    python_callable = task_2
)

t2 = PythonOperator(
    task_id = 'send_email_notification',
    dag = dag,
    python_callable = task_3
)

t1 >> t2

我正在返回凭据错误。

File "/usr/local/airflow/.local/lib/python3.7/site-packages/botocore/auth.py", line 357, in add_auth
    raise NoCredentialsError
botocore.exceptions.NoCredentialsError: Unable to locate credentials

我尝试在连接下的 aws_default 中设置 task_role_arn；但是，我仍然无法解决这个问题。

Answer 1

我能够通过在 ECS 的任务定义中添加正确的任务角色来解决问题。

确保分配的任务角色已为您尝试通过 Airflow access/run 的服务附加了所有策略。

在 DAG 中使用 boto3 时，Apache 气流无法找到 AWS 凭证

Apache airflow unable to locate AWS credentials when using boto3 inside a DAG

python

amazon-web-services

airflow

airflow-scheduler