EFK Stack 中的 Fluentbit 和 Fluentd，为什么我需要使用 fluentd？

Question

大家好，谁能给我解释一下为什么我需要使用 fluentd 作为聚合器？以下是我一直在研究的基础设施

Fluentbit（日志转发器）--> Fluentd（数据处理和聚合器）--> Elasticsearch --> Kibana

抱歉没有显示图片，但是你可以在这里找到我的意思的拓扑：https://medium.com/redbox-techblog/building-an-open-data-platform-logging-with-fluentd-and-elasticsearch-4582de868398

好吧，也许这是一个奇怪的问题，但我仍然不明白为什么我需要它？当我可以使用 fluentbit 将日志直接转发到 elasticsearch 时，为什么我们必须需要聚合器？

有关更多信息，我将为几个节点（我认为大约 50 个节点）使用大量的 fluentbit

如果你能帮助我，我会很感激，抱歉我的英语不好

谢谢

Answer 1

您不需要它，只需确保您的 Elasticsearch 集群设置正确，以便它可以处理具有多个传入连接和流量的负载。

Answer 2

像 fluentd 或 logstash 这样的日志收集器确保没有 "bad data" 的风险，这可能会在生产中引起问题。日志收集器提供unified logging layer，将数据源与后端系统解耦。

希望对您有所帮助。