AWS Glue：无法识别 --extra-files 参数

Question

我在 Glue 上指定 --extra-files 作为作业参数，但前端对此不满意，如图所示：

无论如何我都能保住我的工作，运行它成功了：

def read_yaml(config_file_name: str) -> dict:

    with open(config_file_name, 'r') as stream:
        try:
            return yaml.safe_load(stream)
        except yaml.YAMLError as exc:
            logger.info(exc)

config = read_yaml(config_file_name=CONFIG_FILE_NAME)
logger.info(config)

然后非常奇怪的是，如果我再次检查作业参数，然后 -extra-files 消失了，如果我再次运行作业它仍然读取我存储在 S3 中的配置文件。

谁能解释一下：（1）为什么--extra-files会产生前端错误，以及（2）为什么没有设置--extra-files但作业运行很顺利？

谢谢！

Answer 1

这只是 AWS Glue 的怪癖之一。 '--extra-files' 相当于 UI 控制台上的 'Referenced Files Path'。

通常，在使用 CLI 或 CloudFormation 创建新的 Glue 作业时，我们使用“--extra-files”来设置此值。但是，在控制台上，可以在 'Security Configuration, script libraries, and job parameters' ---> 'Referenced Files Path'

部分设置此参数

设置成功后，您将不会再将其视为 'Job Parameters' 部分中的单独键。相反，它会在工作详细信息选项卡中显示 （信不信由你） 一个全新的名称 - 'Other lib path'

AWS Glue：无法识别 --extra-files 参数

AWS Glue: --extra-files parameter is not recognized

amazon-s3

amazon-web-services

aws-glue