最佳消费方式 多服务消费模式

Best way to consume multi-service consumption model

我们有多个容器化的后台服务(worker),它们会消费多个Kafka主题,以保持时间顺序和数据的完整性。最好的消费方式应该是每个主题一个消费者还是每个消费者多个主题。

consume multiple Kafka topics... maintain the chronological order

无论您拥有多少客户,这对于消费者客户来说都是不可能的。至少,在将数据消耗到 in-memory 数据结构(即非并行化或分布式)

中时,并非没有主动对数据进行排序

您可以先将数据写入数据库(最好使用 Kafka Connect,而不是您自己的 .NET 服务),然后编写您的应用程序来查询数据库、排序通过时间戳,而不是直接从 Kafka 读取。