使用 AWS Glue 时是否有我可以访问的临时文件夹？

Question

当 运行 在 AWS glue 中处理时，是否有我可以访问的临时文件夹来临时保存文件？例如，在 Lambda 中，只要进程正在执行，我们就可以访问 /tmp 目录。我们在 AWS Glue 中是否有类似的东西可以在作业执行时存储文件？

Answer 1

你要这个吗？ AWS Glue 可以识别和使用许多参数名称，您可以使用它们为作业和 JobRun 设置脚本环境：

• --TempDir — 指定可用作作业临时目录的存储桶的 S3 路径。

这里有一个link，你可以参考

希望，这对您有所帮助。

Answer 2

是的，有一个 tmp 目录，您可以使用它在 s3 之间移动文件。

s3 = boto3.resource('s3')

--下载文件到本地spark目录tmp

s3.Bucket(bucket_name).download_file(DATA_DIR+file,'tmp/'+file)

您还可以将文件从 'tmp/' 上传到 s3。