如何从具有一个位置路径的多个文件夹创建多个 table，athena 也应该使用 glue crawler 对其进行处理

Question

我试过这个没有达到要求的结果- 我在 s3 存储桶的文件夹中有多个 CSV 文件，但是当它为它创建多个 table 时，Athena returns 结果为零，所以我为每个文件创建了一个不同的文件夹，然后它工作正常。 问题- 但是如果将来会添加更多的文件夹，那么我必须去爬虫并且必须为每个新添加的文件夹添加一个新的位置路径所以有什么方法可以自动执行或以其他方式执行。我正在使用 glue crawler 和 s3 bucket athena 对多个 CSV 文件进行查询 运行。

Answer 1

通常 table 需要其所有文件都在一个目录中，并且该目录中没有其他文件。

但是，有一种机制可以创建仅包含特定文件的 table。您可以在本答案的第二部分阅读更多相关信息： (scroll down a bit after the horizontal rule). You can also find an example in the S3 Inventory documentation: https://docs.aws.amazon.com/AmazonS3/latest/dev/storage-inventory.html