如何消费从头到特定偏移量的消息
How to consume messages from the beginning to a particular offset
我有 kafka 中给定主题的分区号和偏移量之间的映射。我想使用 golang 使用从头开始到那些特定 partition/offset 映射的所有消息。简而言之,我想知道是否可以从头到特定偏移量消费kafka中的消息。
我想知道是否有内置工具或库可以在我开始实施之前帮助我。
我将此作为答案发布,因为我有 99.9% 的人确信这是正确的 - 您无法在消费者上指定结束偏移量。消费者 API 支持 OOTB:
- 从头开始。
- 从任意位置开始。
- 从最后开始。
请注意,没有指定范围的选项,但您可以轻松地自己指定范围:只需从头开始,当您阅读了所需的任意数量的消息(例如,您的最终偏移量)时停止。
中的 Controlling Consumer Position
部分
我有 kafka 中给定主题的分区号和偏移量之间的映射。我想使用 golang 使用从头开始到那些特定 partition/offset 映射的所有消息。简而言之,我想知道是否可以从头到特定偏移量消费kafka中的消息。
我想知道是否有内置工具或库可以在我开始实施之前帮助我。
我将此作为答案发布,因为我有 99.9% 的人确信这是正确的 - 您无法在消费者上指定结束偏移量。消费者 API 支持 OOTB:
- 从头开始。
- 从任意位置开始。
- 从最后开始。
请注意,没有指定范围的选项,但您可以轻松地自己指定范围:只需从头开始,当您阅读了所需的任意数量的消息(例如,您的最终偏移量)时停止。
中的Controlling Consumer Position
部分