规划 ELK 容量需要考虑哪些因素?
What factors to consider for planning capacity for ELK?
我对 ELK 堆栈还很陌生,正在尝试了解它。
我想了解如何规划 100GB/天数据的容量以保留 30 天,如何规划。
数据主要是访问日志、应用日志、事件。
我将需要 运行 几个正则表达式来填充数据字段(除非有任何默认分隔符支持)。
我打算保留它的 3 个副本。
如果这需要多少台服务器以及什么类型的配置,请有人指导我吗?
非常感谢。
我们使用 "hot-warm architecture" (docs) 集群 elasticsearch 实例(您可以 运行 在一台服务器上使用多个实例!)。每个31g内存。
我们的 "hot" 个实例配置了 3 天的保留时间和 ssd raid。这三天后,数据将移动到 "warm" HD Raid,保留时间为(30 - 90 天)。这很好,因为在 kibana 中搜索的最新数据由于 ssds 而处理得非常快。
有时我们会在一台服务器上启动 1 个 Elastic Master(4g 内存)和 2 个 Elastic Client(31g 内存)。
我认为这样的机器至少应该有128g内存,1tb ssd容量,4-6tb hd容量。
我对 ELK 堆栈还很陌生,正在尝试了解它。 我想了解如何规划 100GB/天数据的容量以保留 30 天,如何规划。 数据主要是访问日志、应用日志、事件。 我将需要 运行 几个正则表达式来填充数据字段(除非有任何默认分隔符支持)。 我打算保留它的 3 个副本。
如果这需要多少台服务器以及什么类型的配置,请有人指导我吗?
非常感谢。
我们使用 "hot-warm architecture" (docs) 集群 elasticsearch 实例(您可以 运行 在一台服务器上使用多个实例!)。每个31g内存。
我们的 "hot" 个实例配置了 3 天的保留时间和 ssd raid。这三天后,数据将移动到 "warm" HD Raid,保留时间为(30 - 90 天)。这很好,因为在 kibana 中搜索的最新数据由于 ssds 而处理得非常快。
有时我们会在一台服务器上启动 1 个 Elastic Master(4g 内存)和 2 个 Elastic Client(31g 内存)。
我认为这样的机器至少应该有128g内存,1tb ssd容量,4-6tb hd容量。