如果 logstash 将数据发送到 elasticsearch 的速度快于它的索引速度,会发生什么情况?
What happens if logstash sends data to elasticsearch at a rate faster than it can index?
所以我有多个主机,每个主机上都安装了 logstash。所有这些主机上的 Logstash 从主机生成的日志文件中读取并将数据发送到我的单个 aws elasticsearch 集群。
现在考虑每台主机同时生成大量日志的场景。由于 logstash 安装在每台主机上,它只是将数据转发到 es 集群,我假设即使我的 elasticsearch 集群无法索引它,我的主机也不会受到影响。在这种情况下,日志只是丢失了吗?
我的主机会受到任何影响吗?
简而言之,您可能会丢失主机上的一些日志,这就是为什么使用 kafka 等消息传递解决方案的原因 https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing
所以我有多个主机,每个主机上都安装了 logstash。所有这些主机上的 Logstash 从主机生成的日志文件中读取并将数据发送到我的单个 aws elasticsearch 集群。
现在考虑每台主机同时生成大量日志的场景。由于 logstash 安装在每台主机上,它只是将数据转发到 es 集群,我假设即使我的 elasticsearch 集群无法索引它,我的主机也不会受到影响。在这种情况下,日志只是丢失了吗?
我的主机会受到任何影响吗?
简而言之,您可能会丢失主机上的一些日志,这就是为什么使用 kafka 等消息传递解决方案的原因 https://www.elastic.co/guide/en/logstash/current/deploying-and-scaling.html#deploying-message-queueing