Kinesis 写入 ElasticSearch 和 S3

Question

我正在使用 AWS Kinesis 写入 Elastic Search 并以 S3 作为备份。因此，它正在写入两个来源。但我观察到一个问题，即它不会在推送到 Elastic Search 时同时推送到 S3。那么，它是定期执行还是类似的操作？如果有人能给出任何解释，我们将不胜感激。另外，如果是这种情况，有什么办法可以改变吗？

Answer 1

我在这里发现了问题。因此，每个 Elastic Search 和 S3 都有配置，定义了何时写入它们。检查缓冲区大小和缓冲时间。

在 AWS Kinesis FAQ 中提到：-

问：缓冲区大小和缓冲区间隔是多少？

Amazon Kinesis Firehose 将传入的流数据缓冲到特定大小或缓冲一段时间，然后再将其传送到目的地。您可以在创建传输流时配置缓冲区大小和缓冲区间隔。缓冲区大小以 MB 为单位，Amazon S3 目标的缓冲区大小为 1MB 到 128MB，Amazon Elasticsearch Service 目标的缓冲区大小为 1MB 到 100MB。缓冲间隔以秒为单位，范围为 60 秒到 900 秒。请注意，在数据传输到目标落后于数据写入传输流的情况下，Firehose 会动态增加缓冲区大小以赶上并确保所有数据都传输到目标。

来源 - https://aws.amazon.com/kinesis/firehose/faqs/

因此，在我的情况下，设置不同，因此我看到写入 S3 时出现延迟。