Fluentd - 弹性搜索批量大小的配置设置

Question

是否有配置选项来控制每批推送到 Elastic Search 的记录数？ 在 Logstash 中，可以使用以下相关配置选项 --pipeline.batch.size --pipeline.batch.delay

Answer 1

在 Logstash 中，pipeline.batch.size 不指定推送到 Elasticsearch 的记录数，而是指定进入每个输入管道的记录数（默认情况下每个可用 CPU，但是可以在 pipeline.workers).

中指定

因此，假设您 运行 在 8 核上，默认情况下您将有 8 个输入管道，每个管道处理 125 条记录，总计 1000 条记录。这 1000 条记录将并行流过过滤器和输出插件。

对于输出部分，比如 elasticsearch 插件，您无法选择每批输出多少条记录。默认情况下，插件将尝试发送记录 in 20MB batches.

关于 Fluentd，您需要利用 buffering configuration and some specific buffer options。

这里还有关于如何针对 Fluentd 进行调整的 good article。