用于 promtail 配置的正则表达式

Question

我一直在努力让正则表达式字符串正常工作。它被 Promtail 用于从我的日志中解析标签。我遇到的问题是它不能使用正向前瞻（因为我认为 promtail 是用 go 编写的？）

无论如何，日志都是网络日志，这里有几个例子：

INFO:     172.0.0.1:0 - "POST /endpoint1/UNIQUE-ID?key=unique_value HTTP/1.1" 200 OK
INFO:     172.0.0.2:0 - "GET /endpoint/health HTTP/1.1" 200 OK
172.0.0.1:0 - - [04/Mar/2022:10:52:10 -0500] "GET /endpoint2/optimize HTTP/1.1" 200 271
INFO:     172.0.0.3:0 :0 - "GET /endpoint3?key=unique_value HTTP/1.1" 200 OK

另一件值得指出的事情是 UNIQUE-ID 将成为 VIN ID（车辆识别号码）

我要创建的群组是：ip request endpoint status。但是，由于端点 1 中的所有 UNIQUE_ID 以及端点 1 和端点 3 中的 unique_values，使用完整的端点路径会导致 loki 中的流过多并最终将其杀死。

我的解决方案正则表达式如下所示：

(?P<ip>((?:[0-9]{1,3}\.){3}[0-9]{1,3})).+(?P<request>(GET|POST|HEAD|PUT|DELETE|CONNECT|OPTIONS|TRACE|PATCH)).(?P<endpoint>(.+endpoint1\/health)|(.+endpoint1)|(.+)(\?)|(.+) ).+\".(?P<status>([0-9]{3}))

它捕获以下组：

ip: `172.0.0.1`, `172.0.0.2`, `172.0.0.1` `172.0.0.3`
request: `POST`, `GET`, `GET`, `GET`
endpoint: `/endpoint1`, `/endpoint1/health`, `/endpoint2/optimize `, `/endpoint3?`
status: `200`,`200`,`200`,`200`

问题是 /endpoint2/optimize 和 /endpoint3? 的端点。 endpoint2 末尾有一个尾随 space，endpoint3 包含 ?。我能够通过以下正则表达式使用正前瞻来实现此功能，但它会在 Promtail 中引发错误。

(?P<ip>((?:[0-9]{1,3}\.){3}[0-9]{1,3})).+(?P<request>(GET|POST|HEAD|PUT|DELETE|CONNECT|OPTIONS|TRACE|PATCH)).(?P<endpoint>(.+endpoint1\/health)|(.+endpoint1)|(.+)(?=\?)|(.+)(?= )).+\".(?P<status>([0-9]{3}))

如有任何帮助，我们将不胜感激！我远没有假装我知道正则表达式...

编辑：这是一个例子https://regex101.com/r/FXvnqR/1

Answer 1

编辑

试试这个！ (?P<ip>((?:[0-9]{1,3}\.){3}[0-9]{1,3})).+(?P<request>(GET|POST|HEAD|PUT|DELETE|CONNECT|OPTIONS|TRACE|PATCH)).(?P<endpoint>(/endpoint[1-3]?(?:\/health|\/optimize)?))?.+\".(?P<status>([0-9]{3}))

https://regex101.com/r/DKqRpL/1

如果端点包含 1-3 以外的数字或后续路由而不是健康或优化，则需要对其进行编辑，但截至目前，这是您的解决方案

用于 promtail 配置的正则表达式

Regex for promtail config

regex

regex-negation

regex-group

loki

promtail