归档来自 elasticSearch 的日志文件并将其带回以最小化存储成本

Archiving Log files from elasticSearch and bringing them back to minimize the storage cost

因为这是我第一次使用elastic stack(实习),所以我需要有经验的人的一些答案。假设我在 elasticsearch 中注入了日志(来自多个服务器的 apache nginx ...),并且肯定在 1 个月或更短的时间内 elesaticsearch 将被日志填满,这在存储和性能方面将非常昂贵,所以我需要设置一个限制(假设当日志量达到 100gb 时)我需要将它们从 elasticsearch 中删除以释放一些 space 用于新的传入日志,但我应该保留旧日志而不只是删除它们(我用谷歌搜索了一些解决方案,但所有这些都是关于删除旧日志以释放 space,这在我的情况下没有帮助)并在需要时将这些旧日志带回 elasticsearch。我的问题是有一种方法(在成本和性能方面的最佳方法,如压缩旧日志或其他东西)以最小的成本解决这个问题。

您可以使用自定义存储库的快照和恢复功能来卸载旧数据并在需要时检索它。请尝试以下指南: https://www.elastic.co/guide/en/kibana/7.5/snapshot-restore-tutorial.html