如何在作为参数上传到 glue python shell 作业时传递新的 S3 文件
how to pass a new S3 file when uploaded as a parameter to a glue python shell job
因此，每当我上传文件时，粘合作业就会开始 运行。我在 python shell 中对文件名进行了硬编码，并且我只能上传我在脚本中进行硬编码的相同文件名。如何在 glue python shell 中将 S3 path/file 名称作为参数传递，以便它随时随地获取文件名并在工作中使用。有什么办法可以做到这一点。在作业设置中指定作业参数是唯一的方法，还是我们有任何库可以做到这一点。
是的，您可以将文件名作为参数传递给 Glue 作业。
filename_string = {'--filename': 'your file'}
response = glue.start_job_run(JobName=glue_pyspark_initial_loader,
Arguments=filename_string)
因此，每当我上传文件时，粘合作业就会开始 运行。我在 python shell 中对文件名进行了硬编码，并且我只能上传我在脚本中进行硬编码的相同文件名。如何在 glue python shell 中将 S3 path/file 名称作为参数传递，以便它随时随地获取文件名并在工作中使用。有什么办法可以做到这一点。在作业设置中指定作业参数是唯一的方法，还是我们有任何库可以做到这一点。
是的，您可以将文件名作为参数传递给 Glue 作业。
filename_string = {'--filename': 'your file'}
response = glue.start_job_run(JobName=glue_pyspark_initial_loader,
Arguments=filename_string)