使用 AWS Athena 分析 DynamoDB 数据

Question

我有一个带有 table 的 DynamoDB 和我想为其创建仪表板的项目。经过研究，我了解到 AWS Athena 和 Quicksight 允许我为我的站点分析、查询和创建控制面板。我设置了所有必要的连接器，以通过 Lambda 将 Dynamo table 项目流式传输到使用 AWS Glue 爬网然后在 Athena 中访问的 S3 存储桶。我的问题是，这是否意味着我所有的 DynamoDB table 项都存储了两次？一次在 DynamoDB 中，一次在 Athena 用来查询数据的 S3 存储桶中？

将我的数据放在两个位置是否可行？还有其他解决方案吗？

Answer 1

在其他数据存储中存储 DynamoDB 数据非常普遍，尤其是因为 DynamoDB 不适合 table 全文搜索并且分析完整 table 的成本很高。所以，是的，数据将被复制。

最常见的模式是：

• 正在加载 Dynamo data into Elastic Search 以支持全文搜索。
• 正在将 Dynamo 数据加载到 S3 数据湖并从 Athena 查询以进行报告或for archiving purposes。