AWS Glue 数据目录在 S3 文件上分区 table 并且分区中有不同的架构

Question

是否可以通过 AWS S3 文件在 AWS Glue 数据目录中创建分区 table 并在此 table 的不同分区中具有不同的数据架构？

如果是这样，我能否在 Redshift Spectrum 的帮助下将此分区 table 创建为外部 table 并查询它？

Answer 1

如果文件是 json/parquet 类型，则定义 table 使其包含所有列 - 某些列可能存在于某些分区文件中，而其他列可能存在于其他分区文件中。

如果文件是 csv 类型，那么您需要让每个文件中的列以相同的顺序出现，但每个文件可能不会包含所有可能的列。