如何将 aws glue 脚本写入的输出文件重命名为 s3 位置？使用 pyspark

Question

我希望在 pyspark 中使用 aws glue 重命名写入 s3 的输出文件。

如果有一段代码可以在胶水作业后引用 s3 中的文件重命名 运行，那将非常有帮助

Answer 1

不幸的是，这是不可能的。 Glue 在后台使用 Spark 将这些名称分配给您的文件。

唯一能做的就是写完后重命名。