如何访问kafka主题中未提交消息的列表?

How can I access the list of uncommitted messages in a topic in kafka?

如何访问 kafka 中某个主题中所有未提交消息的列表

要访问未提交的消息,首先假设您正在提交。否则,你只是在消耗一个话题。

从 Kafka 获取任何记录的唯一方法是使用消费者 api。

不需要提交(禁用自动提交并且不要在代码中显式调用提交方法)。但是,如果应用程序因任何原因重新启动,auto.offset.reset 属性 将始终应用于您正在消费的任何主题,这意味着您要么跳过所有内容,要么必须阻止主代码执行,直到该消费者阅读所有内容从话题开始。 Confluent Schema Registry 是一款不提交任何偏移量或创建消费者组的流行应用程序。 Kafka Streams 更新日志主题也这样做。

如果你想让“另一个消费者”阅读整个主题,它需要有一个不同的组ID。就是这样