从副本消费
Consuming from a replica
Kafka 将主题的每个分区复制到指定的复制因子。
据我所知,所有的写入和读取请求都被路由到分区的领导者。有没有什么办法可以从追随者那里消费而不是从领导者那里消费?
Kafka 中的复制是否仅用于故障转移?
在 Kafka 2.3 及更早版本中,您只能从领导者那里消费——这是设计使然。复制仅用于容错。
如果leader失败,将选举其中一个follower作为新的leader。
查看此博客 post 了解更多详情:http://www.confluent.io/blog/hands-free-kafka-replication-a-lesson-in-operational-simplicity/
更新:
从 Kafka 2.4 开始,可以从跟随者副本中获取。有关详细信息,请查看 KIP-392:https://cwiki.apache.org/confluence/display/KAFKA/KIP-392%3A+Allow+consumers+to+fetch+from+closest+replica
Kafka 将主题的每个分区复制到指定的复制因子。
据我所知,所有的写入和读取请求都被路由到分区的领导者。有没有什么办法可以从追随者那里消费而不是从领导者那里消费?
Kafka 中的复制是否仅用于故障转移?
在 Kafka 2.3 及更早版本中,您只能从领导者那里消费——这是设计使然。复制仅用于容错。
如果leader失败,将选举其中一个follower作为新的leader。
查看此博客 post 了解更多详情:http://www.confluent.io/blog/hands-free-kafka-replication-a-lesson-in-operational-simplicity/
更新:
从 Kafka 2.4 开始,可以从跟随者副本中获取。有关详细信息,请查看 KIP-392:https://cwiki.apache.org/confluence/display/KAFKA/KIP-392%3A+Allow+consumers+to+fetch+from+closest+replica