与使用大 Kafka 主题相比,使用多个 Kafka 主题有哪些优点和缺点?

What are the advantages and disadvantages of using several Kafka topics compared to using a big Kafka topic?

我找不到这方面的文献,只是找到几篇文章并没有使它更清楚。

例如,假设我想在流中发送推文,我可以创建一个名为 'tweets' 的大型 kafka 主题并使用它来发送所有推文,但也可以创建几个较小的推文所涉及的不同主题的 kafka 主题:狗、猫、马等(假设这些主题与项目相关)。

使用几个较小的 Kafka 主题而不是使用一般的 Kafka 主题的优点和缺点是什么?

imagine that these subjects are relevant for the project

这是最重要的决心。否则,您最终会为每个可能的单词得到数百万个主题,并将其乘以不同的语言支持?那不会缩放。

还有一个 middle-ground - 将特定消息路由到特定分区。


唯一真正的决定因素是键控记录应该 end-up 在同一个分区中才能被排序。

关于 Kafka 集群可以合理支持的主题数量,还有一个 upper-bound。
upper-limit 一个主题的分区数通常被认为高于集群可以存储的主题。