将分布式日志文件实时聚合到一个日志文件中
Aggregating distributed logfiles into one logfile on real-time
我得到了一个旧系统,它在 1 个作业期间将其日志文件保存在 15 个不同的服务器上 运行。
现在,需要将所有这些汇总到一个文件中,而且同样重要——实时进行。
我通过 python 开始使用 ssh,但它不能满足实时需求。
你有什么大体推荐的方向吗?!任何可以在这里帮助我的开源代码?
谢谢。
我正在使用的一个简单工具是 fluentd 您可以设置小型服务 运行 tail -f
直接在节点上的那些不同日志文件上发送它到一个中央服务器。您可以在那里将其存储到文件或数据库中,或者您想要的任何其他内容。
还有其他类似的解决方案,例如logstash,但是我已经习惯了流利
这主要取决于您记录日志的方式、使用的工具、OS...
peter 建议的工具非常有效。如果您的遗留系统已经在使用 syslog,您也可以实施 syslog 或 rsyslog forwarding.
我得到了一个旧系统,它在 1 个作业期间将其日志文件保存在 15 个不同的服务器上 运行。
现在,需要将所有这些汇总到一个文件中,而且同样重要——实时进行。
我通过 python 开始使用 ssh,但它不能满足实时需求。
你有什么大体推荐的方向吗?!任何可以在这里帮助我的开源代码?
谢谢。
我正在使用的一个简单工具是 fluentd 您可以设置小型服务 运行 tail -f
直接在节点上的那些不同日志文件上发送它到一个中央服务器。您可以在那里将其存储到文件或数据库中,或者您想要的任何其他内容。
还有其他类似的解决方案,例如logstash,但是我已经习惯了流利
这主要取决于您记录日志的方式、使用的工具、OS...
peter 建议的工具非常有效。如果您的遗留系统已经在使用 syslog,您也可以实施 syslog 或 rsyslog forwarding.