冗余的 Kafka 消费者
Redundant Kafka Consumers
是否可以让 2 个客户阅读同一个主题,这样他们就永远不会收到相同的消息?如果一个客户死亡,另一个继续阅读并获取所有消息。
一句话“冗余客户端”——不是为了性能,而是为了客户端故障转移。
我所看到的只是消费者组中 N 个分区和 >N 个客户端的示例,其中 N 个客户端获取消息,其余客户端空闲。在一个分区上有 2 个客户端并不是最佳选择,其中一个客户端在另一个客户端失败之前什么都不做。
同一消费者组中的多个客户端无法同时分配同一分区,因此永远不会收到相同的消息
您要求的场景是比负载平衡更容错...假设一个分区,如果您 运行 两个消费者和一个在消费消息时遇到一些致命异常并且不提交该偏移量和客户端死亡,然后辅助空闲消费者将从最后提交的偏移量中获取并尝试在消费者组重新平衡后消费那些相同的消息
是否可以让 2 个客户阅读同一个主题,这样他们就永远不会收到相同的消息?如果一个客户死亡,另一个继续阅读并获取所有消息。
一句话“冗余客户端”——不是为了性能,而是为了客户端故障转移。
我所看到的只是消费者组中 N 个分区和 >N 个客户端的示例,其中 N 个客户端获取消息,其余客户端空闲。在一个分区上有 2 个客户端并不是最佳选择,其中一个客户端在另一个客户端失败之前什么都不做。
同一消费者组中的多个客户端无法同时分配同一分区,因此永远不会收到相同的消息
您要求的场景是比负载平衡更容错...假设一个分区,如果您 运行 两个消费者和一个在消费消息时遇到一些致命异常并且不提交该偏移量和客户端死亡,然后辅助空闲消费者将从最后提交的偏移量中获取并尝试在消费者组重新平衡后消费那些相同的消息