KafkaConsumer 丢失了一些在其他环境中的警报
KafkaConsumer loses some alarms which are in others environments
我遇到了与 KafkaConsumer 相关的问题，我们的场景如下，我们有 5 个环境实现了 KafkaConsumer，它们都指向相同的 Kafka 服务器和主题，所有消费者都具有相同的配置和group.id.
我注意到某些环境正在丢失消息，但这些丢失的消息已到达其他环境。我认为这与我使用相同的 group.id.
有某种关系
例如，如果消息 'A' 存在于 env1 中，则不存在于 env2、3、4、5 中。
谁能告诉我可能是什么原因，或者是否与 group.id 有关。
请详细了解什么是真正的消费者组。简而言之：这意味着该组中的一个实例一次将消耗 topic-partitions 的一个子集。所有其他实例可能会使用同一主题，但只会从不同的分区读取 - 分区不会重叠。
因此，由于您说您的一些消息没有到达某些特定的消费者但确实到达了其他消费者，这意味着这些消息被路由到不同的分区。
不确定您的业务目标是什么，但这里有一份关于消费者组的详细 Apache Kafka 文档：https://dev.to/de_maric/what-is-a-consumer-group-in-kafka-49il
我遇到了与 KafkaConsumer 相关的问题，我们的场景如下，我们有 5 个环境实现了 KafkaConsumer，它们都指向相同的 Kafka 服务器和主题，所有消费者都具有相同的配置和group.id.
我注意到某些环境正在丢失消息，但这些丢失的消息已到达其他环境。我认为这与我使用相同的 group.id.
有某种关系例如，如果消息 'A' 存在于 env1 中，则不存在于 env2、3、4、5 中。
谁能告诉我可能是什么原因，或者是否与 group.id 有关。
请详细了解什么是真正的消费者组。简而言之：这意味着该组中的一个实例一次将消耗 topic-partitions 的一个子集。所有其他实例可能会使用同一主题，但只会从不同的分区读取 - 分区不会重叠。
因此，由于您说您的一些消息没有到达某些特定的消费者但确实到达了其他消费者，这意味着这些消息被路由到不同的分区。
不确定您的业务目标是什么，但这里有一份关于消费者组的详细 Apache Kafka 文档：https://dev.to/de_maric/what-is-a-consumer-group-in-kafka-49il