"Command should not be null" 在 AWS Glue 作业中更新默认参数时出错

"Command should not be null" error updating default argument in AWS Glue job

我正尝试通过以下方式以编程方式更新我在 AWS Glue 作业中引入的参数:

aws glue update-job --job-name myjobname --job-update '{"DefaultArguments" : {"MONTH" : "202106"} }'

但是给我这个错误:

调用 UpdateJob 操作时发生错误(InvalidInputException):命令不应为空

我也试过在键 属性 中使用双破折号,但给出了同样的错误。

知道如何解决这个问题吗?

提前致谢!

根据此处的指导:https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/update-job.html
“命令”参数是必需的(有关详细信息,请参见上文 link)
我相信角色参数也是必需的。

假设您是 运行 一个典型的 python3 Apache spark 作业,您的命令应该类似于:

aws glue update-job --job-name myjobname --job-update '{"Role":"[your role]", "Command":{"Name": "glueetl ", "ScriptLocation": "[path to your script]", "PythonVersion": "3"},"DefaultArguments" : {"MONTH" : "202106"} }'

我会谨慎使用 update-job 命令,我相信它会将所有未指定的参数替换为空格,这意味着您需要在命令中包含您不想丢失的所有内容。请务必在生产环境中使用前进行验证。