Glue ETL:如何使用 AWS 管理控制台将配置文件作为额外文件引用?

Glue ETL: How to reference config file as extra file using AWS Management Console?

我正在尝试使用 Glue ETL 作为我的 Python 脚本的作业调度程序,该脚本还引用 JSON 配置文件。

根据 https://docs.aws.amazon.com/glue/latest/dg/aws-glue-programming-etl-glue-arguments.html,有一个名为 --extra-files 的参数,据说它是附加文件(如配置文件)的 S3 路径。我在创建作业时似乎无法在控制台上找到它。

我所做的是将我的配置文件上传到与我的 python Glue ETL 脚本相同的 S3 存储桶,我将其包含在 Referenced files path 参数中。

在我的脚本中,我将我的配置文件称为:

with open('config.json', 'r') as config:
    config = json.load(config)

我的代码逻辑没有任何问题,因为在 运行 本地时一切正常。

但是,当我尝试 运行 Glue ETL 作业时,我似乎收到了一条失败消息 No such file or directory: 'config.json'

我在这里做错了什么?如何使我的用例与 Glue ETL 一起工作?

这些参数可以作为作业参数传递。在控制台上,创建或编辑作业时,可在 安全配置、脚本库和作业参数(可选) 部分下找到。

根据 this answer,如果您在 Python shell 作业中使用引用文件路径变量,则在 /tmp 中找到引用文件,其中 [=21] =] shell 作业默认没有访问权限。