相当于Cassandra中的consumer group

Equivalent to consumer group in Cassandra

我正在尝试创建一种 consumer group,因为它存在于 KafkaCassandra。目标是对请求进行分页,并且每个页面都由应用程序的一个实例完成。 有没有像Cassandra中的consumer group这样的概念?

TL;DR;是不,Cassandra 的客户中不存在消费者群体的概念。哪个客户端处理什么的负担完全在应用程序开发人员身上。

您可以使用 Cassandra 的 tokens 进行选择性分页。

假设有 2 个客户端(简单示例) 客户端 1 页从 -2^63 到 0 客户端 2 页从 1 到 2^63 - 1

上述想法假设您希望以类似于批处理的方式对所有数据进行分页,这不适合 Cassandra。

如果您要获取最新的 N 个结果,其中第一半发送给客户端 1,第二半发送给客户端 2,您可以在分区键中使用逻辑桶。

如果您希望扩展对大量 Cassandra 行的处理,您可以考虑使用可扩展的执行平台,例如 Flink 或 Storm。您将能够并行化行的读取和行的处理,尽管可并行化的源(或 Storm 中的 spout)不是开箱即用的东西。