将 DynamoDB 记录推送到 Kinesis Stream,然后推送到 S3(仅使用 AWS 控制台)

Push DynamoDB records into Kinesis Stream and then into S3 (Using AWS Console Only)

我对 Amazon Kinesis 和 Amazon DynamoDB 还很陌生。我为我的 RDS MySQL 数据库和 Dynamo DB 数据购买了 AWS 服务。现在我想利用我的 dynamo Db 数据。

通过使用 AWS 控制台界面,我想将 DynamoDB 新插入的记录定期实时推送到 S3。我已阅读有关 Kinesis 的信息,但我不确定如何在不使用应用程序开发的情况下安排此管道。 如果可能的话,Kindle 会引导我完成。谢谢

编辑 我阅读了有关 Kinesis Firehose 的信息,想知道 dynamoDB 是否可以发布到 AWS Kinesis Firehose?

要通过控制台完成所有这些操作,我建议您使用 DynamoDB Streams () and Lambda. The aAWS announcement for this process is described this blog post.

高级步骤为:

  1. 为您的 table 启用 DynamoDB 流。此步骤为您的所有项目更改定义生产者。
  2. 编写将成为消费者的 lambda 函数。您所提到的只是您想要新插入的记录。 This article 指导您使用 AWS 控制台在 Lambda 中开发一个简单的 Hello World。这是一个很好的起点。一旦您有信心,请重新查看公告并按照其中的步骤使用 DynamoDB 流。
  3. Create some S3 buckets 并将逻辑附加到 lambda 函数以将新项目数据存储到 S3。

这是一个模拟传统关系数据库触发器的强大过程,但适用于 DynamoDB 中的 NoSQL tables。全部来自 AWS 控制台。