指示 Kafka Consumer App 从 Offset 开始读取

Question

如果我有一个包含 Kafka 消费者的应用程序 AppA class，是否可以务实地指导该消费者的行为？例如，我可能想告诉 AppA over a rest API（或者甚至通过另一个主题）唤醒并开始消费和处理来自 TopicB 在偏移量或时间戳 X 处的消息，并在偏移量或时间戳 Y 处停止。我可能会告诉它重复阅读主题的相同部分以对数据执行不同的分析，我可能希望消费者在不执行指令时闲着。

这种方式能控制一个消费者吗？本质上，我很想知道我是否可以按需阅读主题部分以根据其内容生成 processing/reports。我猜这有点类似于通过管理控制台查询关系数据库的方式。

提前致谢！

Answer 1

Kafka消费者可以在任意位置消费主题。

您可以使用 seek() method to start consuming from a specific offset. You can also use the offsetsForTimes() 方法查找特定时间戳的偏移量。

您可以结合这两种方式，按需消费特定版块的话题。