5 节点 Broker 集群的 Kafka 复制因子

Question

我正在设置一个包含 3 个 Zookeper 节点和 5 个 Kafka Broker 节点的 Confluent Kafka 集群（社区）。 要求是即使 2 个代理节点关闭，我们也应该能够在实时环境中继续。

应该推荐什么 -复制因子， - 同步副本 对于具有 50 个分区的主题。

在大多数情况下，建议的复制因子是 3 。如果我们在提到的集群配置中将其增加到 5 会有什么影响

Answer 1

将复制因子设置为 5 意味着所有分区都存在于集群中的所有代理上。如果两个 broker 宕机，那么复制因子要求不再满足，你的主题将被复制不足（应该给出警告）。

min.insync.replicas 应设置为 3（或更少），否则生成带有 acks = all 的消息将失败。生成 acks 设置为 1、2 或 3 的消息也适用于 min.insync.replicas.

的更高值

另请注意，当两个节点关闭时，您无法创建复制因子为 5 的新主题（另请参阅 KIP-409）。