填满专用卷时如何处理 Elasticsearch 数据

Question

我正在 k8s 集群上创建一个 EFK 堆栈。我正在使用 here 描述的 EFK 舵图。这会创建两个 PVC：一个用于 es-master，一个用于 es-data。

假设我为每个 PVC 分配了 50 Gi。当这些最终填满时，我希望的行为是让新数据开始覆盖旧数据。然后我想将旧数据存储到例如 s3 存储桶中。我如何配置 Elasticsearch 来执行此操作？

Answer 1

Elasticsearch Curator 是一个可以帮助您做到这一点的简单工具： https://www.elastic.co/guide/en/elasticsearch/client/curator/5.5/actions.html

您可以使用它来：

1. 将保存数据的索引翻转 size/time。这将导致每个 PVC 根据时间持有很少的索引。
2. 快照滚动索引以在 S3 中备份
3. 根据日期删除旧索引 - 删除最旧的索引以便为新索引腾出 space。

策展人可以帮助您完成所有这些。