如何使用 filebeat 从 juniper 交换机获取日志消息以供 ELK 堆栈处理？

Question

我先向您道歉，因为我对使用堆栈溢出还很陌生。如果我的问题需要更改任何内容，请告诉我。

我目前正在尝试为我的工作设置一个日志聚合器。我的计划是使用 elastic stack 和 filebeat 来收集日志并显示它们。我使用本教程来设置初始服务器：

https://www.digitalocean.com/community/tutorials/how-to-install-elasticsearch-logstash-and-kibana-elastic-stack-on-ubuntu-18-04

我能够使用 filebeat 系统模块从系统中读取系统日志，就像在教程中一样。然后我禁用它，这样我就可以尝试从瞻博网络交换机记录系统日志，而不必阅读所有服务器系统日志的干扰。

现在我正试图让日志从 juniper 交换机进入我的虚拟机。我设置了开关，将 syslogs 发送到端口 9513 上的虚拟机 ip。当我使用 tcpdump 监视端口时，我可以看到日志进来。

user@logserver:~$ sudo tcpdump -i ens160 port 9513
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on ens160, link-type EN10MB (Ethernet), capture size 262144 bytes
16:42:20.558768 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info, length: 124
16:45:00.571980 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info, length: 79
16:45:00.576370 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info, length: 91
16:47:45.944277 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info, length: 124
16:48:20.568840 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info, length: 64
16:50:00.653082 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info, length: 91
16:50:55.769884 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info, length: 106
16:50:55.777058 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.notice, length: 112
16:50:57.704914 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.info, length: 101
16:50:57.817315 IP ***.***.***.***.syslog > logserver.9513: SYSLOG local7.notice, length: 112
16:55:00.701165 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info, length: 91
17:00:00.766060 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info, length: 91
17:00:00.777780 IP ***.***.***.***.syslog > logserver.9513: SYSLOG cron.info, length: 79

我知道有几种不同的方法可以使用 filebeat 读取此输入数据。一种是使用我已启用的默认瞻博网络模块。我还可以在 filebeat.yml 配置文件中设置系统日志类型输入。我已经使用端口 9513 和端口 514 尝试了这两种方法。

filebeat.inputs:

- type: syslog
  protocol.udp:
    host: "localhost:514"
- type: syslog
  protocol.udp:
    host: "localhost:9513"



- module: juniper
  junos:
    enabled: true

    # Set which input to use between udp (default), tcp or file.
      var.input: udp
      var.syslog_host: localhost
      var.syslog_port: 514
- module: juniper
  junos:
    enabled: true

    # Set which input to use between udp (default), tcp or file.
      var.input: udp
      var.syslog_host: localhost
      var.syslog_port: 9513

我猜 filebeat 配置中有些东西我不理解，因为 filebeat 没有将任何系统日志信息发送到 logstash。我还在端口 5044 和 lo 接口上使用了 tcpdump，教程使用该端口设置 filebeat 的输出和 logstash 的输入。当我运行它并从端口 514 或 9513 上的交换机接收到新日志时，没有任何内容通过 5044 发送，如下所示：

user@logserver:~$ sudo tcpdump -i lo port 5044
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on lo, link-type EN10MB (Ethernet), capture size 262144 bytes
^C
0 packets captured
0 packets received by filter
0 packets dropped by kernel

如果能帮助理解 filebeat，我们将不胜感激。提前谢谢你

Answer 1

我不确定我到底做了什么，但它现在似乎可以正常工作了。我删除了“set system syslog host ...[ 的 juniper 配置=17=]" 并在没有端口分配的情况下重做。这意味着我所有的系统日志消息现在都发送到 514 端口，所以我检查了服务器上的那个端口。它正在接收所有日志，因此我随后将 logstash 和 filebeat 配置文件重置为默认设置并禁用了 filebeat 上的所有模块。我禁用并停止了 filebeat 和 logstash，重新启用并重新启动。之后，我在 filebeat 中重新启用了系统和 juniper 模块。这不知何故奏效了，我现在可以看到系统日志从瞻博网络交换机进入 elasticsearch。

如何使用 filebeat 从 juniper 交换机获取日志消息以供 ELK 堆栈处理？

How can I get log messages from a juniper switch to get processed by the ELK stack using filebeat?

linux

logging

elastic-stack

filebeat

junos-automation