如何使用 Glue 将多个 s3 文件合并为一个文件

how to combine multiple s3 files into one using Glue

我需要一些帮助,将 S3 中不同公司分区中的多个文件合并为一个文件,并将文件中的公司名称作为列之一。

我是新手,我找不到任何信息,我也曾与支持人员交谈过,但他们说不受支持。但在DataStage中,将多个文件合二为一是一个基本功能。 请点亮 问候, 普拉卡什

查看 AWS Glue examples, particularly the Join and Rationalize Data in S3 示例。它向您展示了如何使用 Python 脚本通过转换进行连接和过滤。

如果文件中的列名相同且列数也相同,Glue 会自动合并它们。

确保您要合并的文件位于 s3 上的同一文件夹中,并且您的胶水爬虫指向该文件夹。