将分布式日志文件实时聚合到一个日志文件中

Aggregating distributed logfiles into one logfile on real-time

我得到了一个旧系统,它在 1 个作业期间将其日志文件保存在 15 个不同的服务器上 运行。

现在,需要将所有这些汇总到一个文件中,而且同样重要——实时进行。

我通过 python 开始使用 ssh,但它不能满足实时需求。

你有什么大体推荐的方向吗?!任何可以在这里帮助我的开源代码?

谢谢。

我正在使用的一个简单工具是 fluentd 您可以设置小型服务 运行 tail -f 直接在节点上的那些不同日志文件上发送它到一个中央服务器。您可以在那里将其存储到文件或数据库中,或者您想要的任何其他内容。

还有其他类似的解决方案,例如logstash,但是我已经习惯了流利

这主要取决于您记录日志的方式、使用的工具、OS...

peter 建议的工具非常有效。如果您的遗留系统已经在使用 syslog,您也可以实施 syslog 或 rsyslog forwarding.