"Command should not be null" 在 AWS Glue 作业中更新默认参数时出错
"Command should not be null" error updating default argument in AWS Glue job
我正尝试通过以下方式以编程方式更新我在 AWS Glue 作业中引入的参数:
aws glue update-job --job-name myjobname --job-update '{"DefaultArguments" : {"MONTH" : "202106"} }'
但是给我这个错误:
调用 UpdateJob 操作时发生错误(InvalidInputException):命令不应为空
我也试过在键 属性 中使用双破折号,但给出了同样的错误。
知道如何解决这个问题吗?
提前致谢!
根据此处的指导:https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/update-job.html
“命令”参数是必需的(有关详细信息,请参见上文 link)
我相信角色参数也是必需的。
假设您是 运行 一个典型的 python3 Apache spark 作业,您的命令应该类似于:
aws glue update-job --job-name myjobname --job-update '{"Role":"[your role]", "Command":{"Name": "glueetl ", "ScriptLocation": "[path to your script]", "PythonVersion": "3"},"DefaultArguments" : {"MONTH" : "202106"} }'
我会谨慎使用 update-job 命令,我相信它会将所有未指定的参数替换为空格,这意味着您需要在命令中包含您不想丢失的所有内容。请务必在生产环境中使用前进行验证。
我正尝试通过以下方式以编程方式更新我在 AWS Glue 作业中引入的参数:
aws glue update-job --job-name myjobname --job-update '{"DefaultArguments" : {"MONTH" : "202106"} }'
但是给我这个错误:
调用 UpdateJob 操作时发生错误(InvalidInputException):命令不应为空
我也试过在键 属性 中使用双破折号,但给出了同样的错误。
知道如何解决这个问题吗?
提前致谢!
根据此处的指导:https://awscli.amazonaws.com/v2/documentation/api/latest/reference/glue/update-job.html
“命令”参数是必需的(有关详细信息,请参见上文 link)
我相信角色参数也是必需的。
假设您是 运行 一个典型的 python3 Apache spark 作业,您的命令应该类似于:
aws glue update-job --job-name myjobname --job-update '{"Role":"[your role]", "Command":{"Name": "glueetl ", "ScriptLocation": "[path to your script]", "PythonVersion": "3"},"DefaultArguments" : {"MONTH" : "202106"} }'
我会谨慎使用 update-job 命令,我相信它会将所有未指定的参数替换为空格,这意味着您需要在命令中包含您不想丢失的所有内容。请务必在生产环境中使用前进行验证。