使用 Dynamodb 数据源构建 s3 数据湖

Question

我是一名使用 AWS 的数据工程师，我们想构建一个数据管道，以便在 QuickSigth 上可视化我们的 Dynmaodb 数据，如您所知，不可能直接断开 dynamo 到 Quick 的连接...您必须路过S3.

S3 将是我们的数据湖，问题是日期更新频繁（例如列名可以更改/客户状态可以演变..）

所以我正在寻找批处理解决方案，以便始终从我的 s3 数据湖上的 dynamo 获取最新数据，并在 quicksigth 中将其可视化。

谢谢你

Answer 1

您可以在控制台中访问 DynamoDB 中的表，并在 Streams and Exports 选项卡下将数据导出到 S3。 This blog post 来自 AWS 的解释正是您所需要的。

您也可以尝试 this approach with Athena 而不是 S3。