如何配置 AWS Athena 结果的文件格式

Question

目前，Athena 查询结果在 S3 中为 tsv 格式。有什么方法可以将 Athena 查询配置为 return Parquet 格式的结果。

Answer 1

回答

目前无法直接使用 Athena 进行操作。在配置 Athena 查询结果时，您只能设置查询结果位置和加密配置。

解决方法

1)10月起Athena支持CTAS查询，您可以尝试使用此功能

https://docs.aws.amazon.com/athena/latest/ug/ctas.html

https://docs.aws.amazon.com/athena/latest/ug/ctas-examples.html

我认为示例 4 或 5 可能会让您感兴趣。

2) 您可以创建Python 脚本并使用Boto3 框架。这是示例，您可以根据需要调整此脚本并将保存的查询结果添加到 parquet 格式。

https://gist.github.com/schledererj/b2e2a800998d61af2bbdd1cd50e08b76

3) 如果您想转换数据，您应该使用 AWS EMR 或 AWS Glue 等服务。