AWS CloudFormation Package Glue Extra Python 文件
AWS CloudFormation Package Glue Extra Python Files
我正在尝试使用 Cloudformation 包来包含胶水脚本和额外的 python 文件,这些文件将在打包步骤中上传到 s3。
对于胶水脚本,我可以在哪里使用它很简单
Properties:
Command:
Name: pythonshell #glueetl -spark # pythonshell -python shell...
PythonVersion: 3
ScriptLocation: "../glue/test.py"
但是我如何才能对额外的 python 文件执行相同的操作?以下不起作用,似乎我可以使用 Include Transform 上传文件,但不确定如何在 extra-py-files 中引用它?
DefaultArguments:
"--extra-py-files":
- "../glue/test2.py"
遗憾的是,您不能这样做。 package 仅支持胶水:
Command.ScriptLocation property for the AWS::Glue::Job resource
不支持打包 DefaultArguments
个参数 。这意味着您必须在 CloudFormation 之外“手动”执行此操作(例如创建 bash 脚本)。
我正在尝试使用 Cloudformation 包来包含胶水脚本和额外的 python 文件,这些文件将在打包步骤中上传到 s3。
对于胶水脚本,我可以在哪里使用它很简单
Properties:
Command:
Name: pythonshell #glueetl -spark # pythonshell -python shell...
PythonVersion: 3
ScriptLocation: "../glue/test.py"
但是我如何才能对额外的 python 文件执行相同的操作?以下不起作用,似乎我可以使用 Include Transform 上传文件,但不确定如何在 extra-py-files 中引用它?
DefaultArguments:
"--extra-py-files":
- "../glue/test2.py"
遗憾的是,您不能这样做。 package 仅支持胶水:
Command.ScriptLocation property for the AWS::Glue::Job resource
不支持打包 DefaultArguments
个参数 。这意味着您必须在 CloudFormation 之外“手动”执行此操作(例如创建 bash 脚本)。