从 Splunk 事件中过滤重复条目

Question

我是 splunk 的新手，遇到了一些如下的 splunk 事件

2019-06-26 23:45:36 INFO ID 123456 | Response Code 404 2019-06-26 23:55:36 INFO ID 123456 | Response Code 404 2019-06-26 23:23:36 INFO ID 258080 | Response Code 404

有没有办法过滤掉具有相同 ID 123456 的前两个事件并将它们视为一个事件？我尝试了一些我知道是完全错误的东西，建议可能对此非常有用。

index=myindex "Response Code 404" | rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" | stats count by ID MyID | where count > 1

Answer 1

这并不完全错误。这是删除重复项的合法方法之一。这是另一个：

index=myindex "Response Code 404"  
| rex field=ID max_match=2 "(?<MyID>\b(?:123456)\b)" 
| dedup MyID

通常首选使用 dedup，因为它不会像 stats 那样删除字段。

Answer 2

我知道回复晚了，但如果时间戳不同，那么这些事件确实不是重复事件。我更关心的是找出什么机器在不同时间两次发送事件（以及为什么而不是消除结果。请记住，每个事件都会违反您的许可证，虽然它看起来很小，但它们中的足够多最多 1 GB。

从 Splunk 事件中过滤重复条目

Filtering duplicate entries from Splunk events

splunk

splunk-query