从kafka获取日志并发送给loki
Get logs from kafka and send to loki
希望你们在疫情期间一切都好。
我有一个 kubernetes 集群 运行。 pods之间的通信是通过kafka完成的。它当前仅记录到标准输出。没有文件。没有卡夫卡主题。这显然很糟糕。
我想设置一个 grafana 实例，让我在那里集中所有日志。存储空间为 Loki + S3
为了做到这一点，我发现很多人使用像 Fluentd、FluentBit 和 Promtail 这样的工具，它们会集中日志并将它们发送给 Loki。但是，我已经有了 Kafka 运行。如果我可以通过“日志记录”主题将所有日志发送到 kafka，我不明白为什么我会使用像 fluentd 这样的工具。
我的问题是：如何将日志记录主题内的所有消息发送给 Loki？ Fluentd 无法从 kafka 获取输入。
我是否必须设置一些定期运行的脚本，对数据进行排序并将其直接发送给 loki？
我建议你使用 promtail 因为它也是来自 Grafana 而不是使用 kafka 解决方案。
如果您将日志从您的应用程序发送到 kafka，那么您需要：
- 修改您的应用以发送到 kafka 而不是 stdout
- 配置日志转发器将kafka上的消息发送到loki（可以是fluentd）
如果您使用一种正常的建议方法，您需要：
- 配置日志转发器以将消息从 docker stdout 发送到 loki（您可以使用 promtail 默认配置）
但是如果你想在中间使用 kafka 来解决你的问题，可以使用一些 fluentd 插件将 kafka 配置为输入和输出。 https://github.com/fluent/fluent-plugin-kafka
希望你们在疫情期间一切都好。
我有一个 kubernetes 集群 运行。 pods之间的通信是通过kafka完成的。它当前仅记录到标准输出。没有文件。没有卡夫卡主题。这显然很糟糕。
我想设置一个 grafana 实例，让我在那里集中所有日志。存储空间为 Loki + S3
为了做到这一点，我发现很多人使用像 Fluentd、FluentBit 和 Promtail 这样的工具，它们会集中日志并将它们发送给 Loki。但是，我已经有了 Kafka 运行。如果我可以通过“日志记录”主题将所有日志发送到 kafka，我不明白为什么我会使用像 fluentd 这样的工具。
我的问题是：如何将日志记录主题内的所有消息发送给 Loki？ Fluentd 无法从 kafka 获取输入。
我是否必须设置一些定期运行的脚本，对数据进行排序并将其直接发送给 loki？
我建议你使用 promtail 因为它也是来自 Grafana 而不是使用 kafka 解决方案。
如果您将日志从您的应用程序发送到 kafka，那么您需要：
- 修改您的应用以发送到 kafka 而不是 stdout
- 配置日志转发器将kafka上的消息发送到loki（可以是fluentd）
如果您使用一种正常的建议方法，您需要：
- 配置日志转发器以将消息从 docker stdout 发送到 loki（您可以使用 promtail 默认配置）
但是如果你想在中间使用 kafka 来解决你的问题，可以使用一些 fluentd 插件将 kafka 配置为输入和输出。 https://github.com/fluent/fluent-plugin-kafka