使用 Firehose 将 Kinesis Stream 备份到 S3

Question

我正在使用包含客户交易的 AWS Kinesis Stream。我想在开始处理之前将交易备份到 S3 中。如何在没有 运行 任何 Lambda 或其他计算组件的情况下使用裸 Kinesis Firehose 备份来自 Kinesis Stream 的事务？

Answer 1

您可以颠倒 Kinesis 构建块的顺序：

1. 不要写入 Kinesis Stream，而是写入定向到 S3 的 Kinesis Firehose。

2. 运行 Kinesis Analytics (KA) 应用程序，用于从 Kinesis Firehose (KF) 读取事件，并将它们写入 Kinesis Stream (KS)。您可以使用 KA 的功能来执行一些过滤、聚合和连接，否则您会在代码（Lambda 或 KCL）中 运行。