转换用法 - 如何为所有特定术语推送事件，即使其中一个术语缺失

Question

我有一个场景。我创建了一个转换，将源索引中每天的所有事件分组为 3 种不同的状态——已完成、已终止和重试。例如，如果 2021 年 4 月 25 日我们已完成 - 3、终止 - 5 和重试 - 1，则目标索引在 4 月 25 日有 3 条记录，如下所示。

{"keyword": "Completed","Count": 3, "Per day": "2021-04-25T00:00:00.000Z"}
{"keyword": "Terminated","Count": 5, "Per day": "2021-04-25T00:00:00.000Z"}
{"keyword": "Retry","Count": 1, "Per day": "2021-04-25T00:00:00.000Z"}

这一切都按预期工作。现在，如果 4 月 26 日没有重试事件，则转换在目标索引中有以下内容，这再次符合预期。

{"keyword": "Completed","Count": 3, "Per day": "2021-04-26T00:00:00.000Z"}
{"keyword": "Terminated","Count": 5, "Per day": "2021-04-26T00:00:00.000Z"}

但问题是我需要将所有 3 种情况下的数据从目标索引推送到另一个输出（在我的例子中是 Kafka），包括丢失重试的情况。所以，实际上我想推送到 Kafka 3 个事件，如下所示（包括一个计数为 0 的重试事件）而不是 2

{"keyword": "Completed","Count": 3, "Per day": "2021-04-26T00:00:00.000Z"}
{"keyword": "Terminated","Count": 5, "Per day": "2021-04-26T00:00:00.000Z"}
{"keyword": "Retry","Count": 0, "Per day": "2021-04-26T00:00:00.000Z"}

不确定如何实现。这里的任何 suggestions/inputs 都会很有帮助。

谢谢

Answer 1

您想添加 missing_bucket 设置。它要求您使用 7.10 或更高版本，并在 https://discuss.elastic.co/t/transform-sum-doesnt-add-up/256622/5

的论坛中进行了描述

如该线程中所述，官方文档在 https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-composite-aggregation.html#_missing_bucket

中对此进行了介绍

Answer 2

我想即使在 7.10 及更高版本中，missing_bucket 的用法仍然存在 some known issues。对于我的要求，我采用了不同的方法。我正在使用术语过滤器来检查特定关键字，以便在没有事件落入存储桶的情况下我可以获得 0 计数

转换用法 - 如何为所有特定术语推送事件，即使其中一个术语缺失

Transform usage - How to push event for all specific terms even if one of them is missing

elasticsearch

logstash