如何将日志从 elk stack 流式传输到 python
How to stream logs from elk stack to python
我在 python 有一个 kafka 消费者来处理日志数据（stacktrace 分析和自动问题创建），我们也在并行使用 elk stack。是否有可能通过 elk 将日志流式传输到 python 以摆脱 kafka？我没有 elk 的经验，也找不到任何关于从它流式传输的信息。好像我每次只能查询一次日志数据，但这似乎不是一个完美的决定。
不，您不能自行将数据流出 Elasticsearch。
如果您的输入是其他内容，您可以使用 Logstash 的各种输出插件（或编写您自己的插件），这些插件可以写入受支持的 Python 库
例如：pipe、tcp、websocket/http、exec 插件都足够通用，可以与任何语言一起使用
但是，logstash 不会像 Kafka 那样持久化事件，所以如果你想要一些可以处理背压并且不会丢弃事件的东西，你可以让 Kafka 存在
我在 python 有一个 kafka 消费者来处理日志数据（stacktrace 分析和自动问题创建），我们也在并行使用 elk stack。是否有可能通过 elk 将日志流式传输到 python 以摆脱 kafka？我没有 elk 的经验，也找不到任何关于从它流式传输的信息。好像我每次只能查询一次日志数据，但这似乎不是一个完美的决定。
不，您不能自行将数据流出 Elasticsearch。
如果您的输入是其他内容，您可以使用 Logstash 的各种输出插件（或编写您自己的插件），这些插件可以写入受支持的 Python 库
例如：pipe、tcp、websocket/http、exec 插件都足够通用，可以与任何语言一起使用
但是，logstash 不会像 Kafka 那样持久化事件，所以如果你想要一些可以处理背压并且不会丢弃事件的东西，你可以让 Kafka 存在