Logstash 不工作并消耗 99% CPU
Logstash is not working and consume 99% CPU
我们有以下基础结构来将应用程序日志数据索引到 ELK。
filebeat ------> Logstash ------> 弹性搜索-----> kibana
一切正常，但 Logstash 服务器突然消耗了 99.9% CPU，此后没有索引编制。在 filebeat 中我们可以看到 "Error publishing events (retrying): EOF"
如果我们重新启动 logstash 服务，它会开始编制索引，但当它达到 CPU 99.9% 时，它不会执行任何操作。
弹性搜索和 kibana：AWS 服务
Logstash : AWS 中型服务器
Filebeat：我们的应用程序测试环境的 AWS 实例。
请帮助我们解决这个问题。
如果您需要任何其他详细信息，请告诉我。
提前致谢。
感谢 Arivazhgan 和 daniel 的支持和建议。
我发现了问题，实际问题是我的过滤器逻辑需要更多时间来处理日志消息。我修改了日志消息格式并优化了 grok 表达式。现在一切正常。
已完成以下更改：
01. 我使用 mutate 将几个字段转换为 int 和 float。这改变了我在模式文件本身中所做的。
02.我修改了日志消息格式。
03.优化grok表达式
我们有以下基础结构来将应用程序日志数据索引到 ELK。 filebeat ------> Logstash ------> 弹性搜索-----> kibana
一切正常，但 Logstash 服务器突然消耗了 99.9% CPU，此后没有索引编制。在 filebeat 中我们可以看到 "Error publishing events (retrying): EOF"
如果我们重新启动 logstash 服务，它会开始编制索引，但当它达到 CPU 99.9% 时，它不会执行任何操作。
弹性搜索和 kibana：AWS 服务 Logstash : AWS 中型服务器 Filebeat：我们的应用程序测试环境的 AWS 实例。
请帮助我们解决这个问题。
如果您需要任何其他详细信息，请告诉我。
提前致谢。
感谢 Arivazhgan 和 daniel 的支持和建议。 我发现了问题，实际问题是我的过滤器逻辑需要更多时间来处理日志消息。我修改了日志消息格式并优化了 grok 表达式。现在一切正常。
已完成以下更改： 01. 我使用 mutate 将几个字段转换为 int 和 float。这改变了我在模式文件本身中所做的。 02.我修改了日志消息格式。 03.优化grok表达式