Kafka Consumer 从它正在读取的地方写入同一个队列
Kafka Consumer writing to the same queue from where it is reading
我有一个用例,我想从 kafka 主题中消费,如果我现在无法处理消息,则根据某些逻辑,我想将消息从它所在的位置排回同一个主题已读
像这样
主题 1 ---> 消费者 ---> 现在无法处理
^
|重新排队________|
可能吗?
是的,这是可能的。
但是,请注意,根据您的保留设置,重新提取的消息可能会多次出现在主题中。此外,消费者将消费所有消息,只要它是运行,这可能导致它已经消费了所有有效消息但不断地一遍又一遍地重新摄取其他消息的情况。
处理应重新引入管道的消息的典型模式是将它们发送到专用的 Kafka 主题。一旦您的消费者确定能够处理这些消息,您就可以让您的消费者只阅读该专门主题一次。
我有一个用例,我想从 kafka 主题中消费,如果我现在无法处理消息,则根据某些逻辑,我想将消息从它所在的位置排回同一个主题已读
像这样
主题 1 ---> 消费者 ---> 现在无法处理
^ |重新排队________|
可能吗?
是的,这是可能的。
但是,请注意,根据您的保留设置,重新提取的消息可能会多次出现在主题中。此外,消费者将消费所有消息,只要它是运行,这可能导致它已经消费了所有有效消息但不断地一遍又一遍地重新摄取其他消息的情况。
处理应重新引入管道的消息的典型模式是将它们发送到专用的 Kafka 主题。一旦您的消费者确定能够处理这些消息,您就可以让您的消费者只阅读该专门主题一次。