AWS Glue 中的 AWS 区域

Question

如何获取当前 Glue 作业正在执行的区域？

当 Glue 作业开始执行时，我看到了输出

Detected region eu-central-1.

在 AWS Lambda 中，我可以使用以下行来获取当前区域：

import os
region = os.environ['AWS_REGION']

但是，似乎 AWS_REGION 环境变量在 Glue 中不存在，因此引发了 KeyError：

KeyError: 'AWS_REGION'

我需要区域的原因是我正在尝试获取所有数据库和表，如中所述，并且我不想在创建 boto 客户端时对区域进行硬编码。

Answer 1

一个选项是将 AWS_REGION 作为作业参数传递。例如，如果您从 Lambda 触发作业：

import os

response = client.start_job_run(
    JobName = 'a_job_name',
    Arguments = {'--AWS_REGION': os.environ['AWS_REGION'] } 
)

或者，如果您使用 AWS::Glue::Job CloudFormation 资源定义作业：

GlueJob:
  Type: AWS::Glue::Job
  Properties:
    Role: !Ref GlueRole
    DefaultArguments:
      "--AWS_REGION": !Sub "${AWS::Region}"
    Command:
      ScriptLocation: !Sub s3://${GlueScriptBucket}/glue-job.py
      Name: glueetl

然后您可以使用 getResolvedOptions:

在作业代码中提取 AWS_REGION 参数

import sys
from awsglue.utils import getResolvedOptions

args = getResolvedOptions(sys.argv, ['AWS_REGION'])
print('region', args['AWS_REGION'])

Answer 2

改用os.environ['AWS_DEFAULT_REGION']。

留在这里供新访客使用。

Answer 3

os.environ['AWS_DEFAULT_REGION'] 适用于 Glue 版本 2.0 和 3.0，但在以前的版本中不存在。它给出了区域代码，例如 us-east-1.

这已通过运行一个小的 PySpark 脚本确认，该脚本用于在所有 Glue 版本上打印出环境变量，正如其他答案所建议的那样。

AWS Glue 中的 AWS 区域

AWS region in AWS Glue

python

amazon-web-services

aws-glue