Kafka 每秒提交多少次
how many is too many Kafka commits per second
我读到您不应该过于频繁地向 Kafka 高级消费者提交偏移量，因为每次提交都是对 Zookeeper 的写入，因此您可以减慢 Zookeeper 的速度，因为它在其法定人数中是高度一致的。
我的问题是，什么被认为是对 Zookeeper 的大量写入？我每秒发送 10 条消息，如果我能负担得起在每条消息后提交，这会让我的系统变得更好，但这很多吗？我真的不知道。在我开始测试我们满载的 kafka 集群之前，我希望有一些想法。
如果您查看此图，您会发现，如果您只有写入，他们的示例设置（3 个双 2Ghz Xeon 和两个 SATA 15K RPM 驱动器）可以处理约 80000 writes/s。
我读到您不应该过于频繁地向 Kafka 高级消费者提交偏移量，因为每次提交都是对 Zookeeper 的写入，因此您可以减慢 Zookeeper 的速度，因为它在其法定人数中是高度一致的。
我的问题是，什么被认为是对 Zookeeper 的大量写入？我每秒发送 10 条消息，如果我能负担得起在每条消息后提交，这会让我的系统变得更好，但这很多吗？我真的不知道。在我开始测试我们满载的 kafka 集群之前，我希望有一些想法。
如果您查看此图，您会发现，如果您只有写入，他们的示例设置（3 个双 2Ghz Xeon 和两个 SATA 15K RPM 驱动器）可以处理约 80000 writes/s。