AWS CloudFormation Package Glue Extra Python 文件

AWS CloudFormation Package Glue Extra Python Files

我正在尝试使用 Cloudformation 包来包含胶水脚本和额外的 python 文件,这些文件将在打包步骤中上传到 s3。

对于胶水脚本,我可以在哪里使用它很简单

  Properties:
  Command:
    Name: pythonshell #glueetl -spark # pythonshell -python shell...
    PythonVersion: 3
    ScriptLocation: "../glue/test.py" 

但是我如何才能对额外的 python 文件执行相同的操作?以下不起作用,似乎我可以使用 Include Transform 上传文件,但不确定如何在 extra-py-files 中引用它?

      DefaultArguments: 
      "--extra-py-files": 
        - "../glue/test2.py"

遗憾的是,您不能这样做。 package 仅支持胶水:

Command.ScriptLocation property for the AWS::Glue::Job resource

不支持打包 DefaultArguments 个参数 。这意味着您必须在 CloudFormation 之外“手动”执行此操作(例如创建 bash 脚本)。