Redis 长度增长
Redis Length growing
我们的管道：
VMware-Netflow -> Logstash -> Redis -> Logstash-indexer -> 3xElastic
我收集的数据：
- 我在 kibana 中注意到流入的流量是 1 小时前的，然后
2，然后是 3 等等。
- 运行 'redis-cli llen netflow' 显示一个非常大的数字正在缓慢增加。
- 运行 'redis-cli INFO 显示 80kbps 的稳定输入和 1kbps 的输出。我认为它们应该接近相等。
- 所有节点上的 cpu 负载可以忽略不计。
我尝试过的：
- 我确保 logstash-indexer 正在发送到所有 3 个弹性节点。
- 我在索引器上启动了许多额外的 logstash 实例，redis 现在显示 40 个客户端。
我不确定还能尝试什么。
TLDR：重新启动了所有三个 elasticsearch 节点，生活又好了。
我无意中禁用了 elasticsearch 作为输出，并将我的网络流发送到以太。 Redis 中的队列大小在几分钟内下降到 0。虽然伤心，但这确实证明了它是elasticsearch而不是logstash或redis。
我看了看elastic实例，好像他们之间的通信有问题。所有这三个都显示日志，表明 2/3 正在退出集群，并且永远不会响应集群 ping。我认为正在发生的事情是，写入被 elastic 接受，并且在成功写入之前反弹了一段时间。
重新启动它们后，它们协商正确，并且写入正常进行。
我们的管道： VMware-Netflow -> Logstash -> Redis -> Logstash-indexer -> 3xElastic
我收集的数据：
- 我在 kibana 中注意到流入的流量是 1 小时前的，然后 2，然后是 3 等等。
- 运行 'redis-cli llen netflow' 显示一个非常大的数字正在缓慢增加。
- 运行 'redis-cli INFO 显示 80kbps 的稳定输入和 1kbps 的输出。我认为它们应该接近相等。
- 所有节点上的 cpu 负载可以忽略不计。
我尝试过的：
- 我确保 logstash-indexer 正在发送到所有 3 个弹性节点。
- 我在索引器上启动了许多额外的 logstash 实例，redis 现在显示 40 个客户端。
我不确定还能尝试什么。
TLDR：重新启动了所有三个 elasticsearch 节点，生活又好了。
我无意中禁用了 elasticsearch 作为输出，并将我的网络流发送到以太。 Redis 中的队列大小在几分钟内下降到 0。虽然伤心，但这确实证明了它是elasticsearch而不是logstash或redis。
我看了看elastic实例，好像他们之间的通信有问题。所有这三个都显示日志，表明 2/3 正在退出集群，并且永远不会响应集群 ping。我认为正在发生的事情是，写入被 elastic 接受，并且在成功写入之前反弹了一段时间。
重新启动它们后，它们协商正确，并且写入正常进行。