AWS Firehose 缓冲

AWS Firehose buffering

将记录写入配置有 S3 作为输出目标的 AWS Firehose 时,此数据在写入 S3 之前需要缓冲多长时间?或者是否有最小尺寸阈值?

例如,我正在执行以下操作来添加记录:

AWS 客户端:

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'

结果:

    {
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}

我没有立即在我的 S3 存储桶中看到这个,但是如果我在 aws 控制台中使用 "Test Data" 功能,我将看到文件被添加到 S3,其中包含我上面的测试记录。

所以我的问题是,

1.) Firehose 是否有某种缓冲阈值,在将缓冲数据写入输出源之前必须达到该阈值?

2.) 如何确定在任何给定时间流水缓冲区内有哪些 data/records?

1) 是的,可以在 firehose 中配置

Kinesis Firehose buffers incoming data before delivering it to Amazon S3. You can choose a buffer size (1-128 MBs) or buffer interval (60-900 seconds); whichever condition is satisfied first triggers data delivery to Amazon S3.

Creating an Amazon Kinesis Firehose Delivery Stream

2) 你不能。 Firehose 不会公开未决数据。