logstash 将 twitter 输出到 elasticsearch - 有多少个索引

Question

给定的 logstash 配置可以有多个输入和输出 如果我在 logstash 上使用 twitter 输入，哪些因素会促使我决定将索引数量作为输出存储在弹性搜索中？

我应该为每个受监控的帐户设置 1 个索引，为每个标签或关键字设置 1 个索引，还是有其他会影响设计的考虑因素？

Answer 1

每个打开的索引在 elasticsearch 中都有开销，所以它们都会消耗 HEAP。

在一个索引中放置不止一种类型的文档是很常见的（这就是 [type] 字段的用途）。请注意，在 elasticsearch v2 中，任何同名字段必须具有相同的映射（"myField"，如果是一种类型的字符串，则必须始终是字符串）。

碎片有一个推荐的大小上限，大约 60GB IIRC。

最后，安排您的索引，以便轻松执行您的保留策略。如果所有内容都保留 7 天，那么每日索引会很好用。使用 'curator' 删除旧索引。

我更喜欢做少量的大索引。