如何统计活跃的Kafka消费者?

How to count active Kafka consumers?

我们正在收集一些匿名分析,以使用我们当前基于 REST 的解决方案来跟踪每月活跃用户,并考虑迁移到 Apache Kafka。是否可以对消费者进行一些统计(计数、连接、传递的消息)?如果是,它是否符合 GDPR?

Kafka 并没有真正提供开箱即用的功能。

None 其中附加了可识别的数据

  • 可以通过标准网络工具计算 TCP 连接数。
  • 已传送 字节的消息 需要外部 JMX 指标聚合。
  • 如果没有自定义代码,则消息计数不可用(因为消费者可以选择根本不跟踪偏移量,或者他们可以自己倒带)

要计算活跃个消费者,您需要获取所有消费者,然后迭代组的消费者。