使用 Rsyslog 发送到 Loggly 并清理 mongodb 日志数据

Question

我正在尝试使用来自 mongodb 4.4.2 的数据通过 rsyslog 将信息发送到 loggly。但是，我无法以可以操纵数据并清除某些信息的方式获取数据。当我按照 Loggly 站点上的指南进行操作时，它适用于非 mongodb 信息。如果我将 %$!msg% 保留为 %msg%，我会得到 mongodb 数据，但我无法对其进行操作。

用于读取 mongo 日志的配置文件

module(load="imfile")

#RsyslogGnuTLS
$DefaultNetstreamDriverCAFile /etc/ssl/certs/ca-bundle.crt

# Input for FILE1
input(type="imfile" tag="mongo_lou_qa" ruleset="filelog" file="/var/log/mongodb/mongod.log") #wildcard is allowed at file level only

$template LogglyFormat,"<%pri%>%protocol-version% %timestamp:::date-rfc3339% %HOSTNAME% %app-name% %procid% %msgid% [token@41058  tag=\"tag1\" tag=\"tag2\" ] %$!msg%" 

set $!msg = $msg;

if re_match($!msg,'([0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9])')    
then 
{
  set $!ext = re_extract($!msg,'([0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9][0-9])',0,1,"");
  set $!msg= replace($!msg, $!ext, "xxxxxxxxx");
}
  
ruleset(name="filelog"){
action(type="omfwd" protocol="tcp" target="logs-01.loggly.com" port="6514" template="LogglyFormat" StreamDriver="gtls" StreamDriverMode="1" StreamDriverAuthMode="x509/name" StreamDriverPermittedPeers="*.loggly.com")
}

Mongodb 示例日志

{"t":{"$date":"2021-01-01T00:00:00.000-00:00"},"s":"I",  "c":"ACCESS",   "id":20000,   "ctx":"conn79","msg":"Successful authentication","attr":{"mechanism":"ABC","principalName":"__system","authenticationDatabase":"local","client":"0.0.0.0:00000"}}

Answer 1

您可以使用 jq 从日志文件中提取或操作数据。

注意，您还可以通过设置

生成系统日志消息

systemLog:
   destination: syslog

那么您就不必写入文件并再次读取它。

Answer 2

rulesets 用于对输入进行分区，以便只有一些规则适用于它们。 $!msg 和 $.msg 之类的变量似乎是每个规则集的局部变量，因此将它们设置在规则集之外不会影响规则集内的操作中的值。文档并不清楚规则集内还需要什么，例如模板可能不需要。

使用 Rsyslog 发送到 Loggly 并清理 mongodb 日志数据

Using Rsyslog sending to Loggly and scrub mongodb log data

mongodb

rsyslog

loggly