AWS Firehose 缓冲
AWS Firehose buffering
将记录写入配置有 S3 作为输出目标的 AWS Firehose 时,此数据在写入 S3 之前需要缓冲多长时间?或者是否有最小尺寸阈值?
例如,我正在执行以下操作来添加记录:
AWS 客户端:
aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'
结果:
{
"RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}
我没有立即在我的 S3 存储桶中看到这个,但是如果我在 aws 控制台中使用 "Test Data" 功能,我将看到文件被添加到 S3,其中包含我上面的测试记录。
所以我的问题是,
1.) Firehose 是否有某种缓冲阈值,在将缓冲数据写入输出源之前必须达到该阈值?
2.) 如何确定在任何给定时间流水缓冲区内有哪些 data/records?
1) 是的,可以在 firehose 中配置
Kinesis Firehose buffers incoming data before delivering it to Amazon
S3. You can choose a buffer size (1-128 MBs) or buffer interval
(60-900 seconds); whichever condition is satisfied first triggers data
delivery to Amazon S3.
Creating an Amazon Kinesis Firehose Delivery Stream
2) 你不能。 Firehose 不会公开未决数据。
将记录写入配置有 S3 作为输出目标的 AWS Firehose 时,此数据在写入 S3 之前需要缓冲多长时间?或者是否有最小尺寸阈值?
例如,我正在执行以下操作来添加记录:
AWS 客户端:
aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'
结果:
{
"RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}
我没有立即在我的 S3 存储桶中看到这个,但是如果我在 aws 控制台中使用 "Test Data" 功能,我将看到文件被添加到 S3,其中包含我上面的测试记录。
所以我的问题是,
1.) Firehose 是否有某种缓冲阈值,在将缓冲数据写入输出源之前必须达到该阈值?
2.) 如何确定在任何给定时间流水缓冲区内有哪些 data/records?
1) 是的,可以在 firehose 中配置
Kinesis Firehose buffers incoming data before delivering it to Amazon S3. You can choose a buffer size (1-128 MBs) or buffer interval (60-900 seconds); whichever condition is satisfied first triggers data delivery to Amazon S3.
Creating an Amazon Kinesis Firehose Delivery Stream
2) 你不能。 Firehose 不会公开未决数据。