我们如何重命名 PYSPARK 中的 generated/output 镶木地板文件或 AWS Glue 中的动态框架?
How can we rename the generated/output parquet file in PYSPARK or Dynamic Frames in AWS Glue?
这是使用 PySpark 从 AWS Glue 在 S3 中生成的输出镶木地板文件,我们想提供一个特定的名称,例如 abcd.parquet 而不是自动生成的字符。任何帮助都会很棒。谢谢!
Image
不幸的是,这是不可能的。 Glue 在后台使用 Spark 将这些名称分配给您的文件。
唯一能做的就是写完后重命名。
这是使用 PySpark 从 AWS Glue 在 S3 中生成的输出镶木地板文件,我们想提供一个特定的名称,例如 abcd.parquet 而不是自动生成的字符。任何帮助都会很棒。谢谢! Image
不幸的是,这是不可能的。 Glue 在后台使用 Spark 将这些名称分配给您的文件。
唯一能做的就是写完后重命名。