Elasticsearch 以实体为中心的索引

Elasticsearch entity centric indexing

是否有人使用 python 和 groovy 脚本将以事件为中心的索引重新索引为以实体为中心的索引,其中每个日志消息都有自己的索引左右?

我收到了很多以下消息:

Jul 23 09:24:16 msda msda-core[5147]:  1563866656876839.mt
Jul 23 09:24:18 msda msda-core[5210]:  1563866656876839.0.dn

我有很多相同的 id 号码,带有 .mt 后缀和 .dn 后缀。

如果一个小时内出现带有.dn 后缀的邮件,我总是需要找到具有相同id 号和适当dn 后缀的邮件。

如有任何想法,我们将不胜感激!

如果您是 运行 v7.2 或更高版本,我建议使用 Elasticsearch 数据帧转换来创建按 ID 编号分组的以事件为中心的索引。. https://www.elastic.co/guide/en/elastic-stack-overview/current/ml-dataframes.html

在最小和最大时间戳上使用脚本度量来计算持续时间。 Elastic 文档中有一个很好的示例 - https://www.elastic.co/guide/en/elastic-stack-overview/7.3/example-clientips.html