Kafka 消费者 group.id 多条消息
Kafka consumer group.id multiple messages
我开发了一个 Kafka 消费者,在生产环境中会有多个这个消费者的实例 运行。我知道我们如何使用 group.id 来避免重复数据处理。有没有办法让所有的消费者都收到消息,但只向一个消费者发送一个领导位?
有没有办法让每个主题甚至每个主题中的每个键 group.id?
看起来这与Kafka无关。您已经知道,通过为每个消费者提供唯一的 group.id,所有消费者实例都将从主题中获取所有消息。现在就推送到 DB 而言 - 您可以分解出该逻辑并尝试使用 distributed lock
以便应用程序的推送到 DB 部分只能由其中一个消费者执行。这是基于 Java 的设置吗?
我开发了一个 Kafka 消费者,在生产环境中会有多个这个消费者的实例 运行。我知道我们如何使用 group.id 来避免重复数据处理。有没有办法让所有的消费者都收到消息,但只向一个消费者发送一个领导位?
有没有办法让每个主题甚至每个主题中的每个键 group.id?
看起来这与Kafka无关。您已经知道,通过为每个消费者提供唯一的 group.id,所有消费者实例都将从主题中获取所有消息。现在就推送到 DB 而言 - 您可以分解出该逻辑并尝试使用 distributed lock
以便应用程序的推送到 DB 部分只能由其中一个消费者执行。这是基于 Java 的设置吗?