Lucene 和 Elasticsearch 中的分片管理

Question

我面临着设置生产就绪 elasticsearch 集群的问题。 目前我只在 elasticsearch 中存储测试日志文件。

到目前为止还不错，但是因为我们每天有 1TB 的生产日志 我想知道如何为这个用例正确设置 elasticsearch 索引。

我们想将这些日志保存 30 天。群集设置有 100TB 磁盘 Space。 我想选择 Replica Count 为 3，所以使用的磁盘 space 应该在 90TB 左右。

但是我应该分配多少个分片？

Elastic 中的 Shards 和 Lucene Segments 之间有区别吗？

Answer 1

您应该阅读 Val 发送的文章。但是如果是日志，你可以每天创建一个索引，这种策略可以让你尝试不同的配置。

副本数应取决于您的弹性搜索节点数。

您还可以阅读这篇短文： https://www.elastic.co/guide/en/elasticsearch/guide/current/_how_primary_and_replica_shards_interact.html

如果你对副本数有疑问，这个也可以帮助你： https://codingexplained.com/coding/elasticsearch/understanding-replication-in-elasticsearch