Kafka 是否适合大量客户?

Does Kafka scale well for big number of clients?

我知道 Kafka 可以处理大量流量。但是,对于大量并发客户端,它的扩展性如何?

每个客户端都会有自己独特的 group_id(因此 Kafka 会跟踪每个客户端的偏移量)。

对于内部存储偏移量的 Kafka 0.9+ 来说,这会是一个问题吗?

对于偏移量存储在 Zookeeper 中的 Kafka 0.8 来说,这会是一个问题吗?

LinkedIn 等一些 Kafka 用户过去曾报告说,单个 Kafka broker 可以支持约 10K 个客户端连接。此数字可能因硬件、配置等因素而异。

只要请求率不是太高,限制因素大概就是open-file-descriptors limit as configured in the operating system, see e.g. http://docs.confluent.io/current/kafka/deployment.html#file-descriptors-and-mmap获取更多信息