Redis Stream - 事件的顺序保证

Redis Stream - Order Guarantee of the events

我用过Kafka。在 Kafka 中,事件的顺序是通过使用 id 来保证的。我们在 Redis 中有类似的东西吗?如果我有订单事件流和一个消费者组中的多个消费者,则应按顺序处理与一个特定订单相关的所有事件。


事件 - 消息/通知/发生的任何需要宣布的事情。像订单创建事件,订单取消事件。


说得更清楚,

假设 user1 通过订购服务订购了名为 ABC1 的产品。此订单服务发布了一个 purchase-order-related stram。 user1 modifies/updates 订单服务在同一流中发布另一个事件作为第二条消息的 ABC1 的数量。这里消息的 ID 可能不同。 但是,当有多个消费者时,是否可以保证这 2 条消息将由消费者组中的 1 个消费者处理?因为这2个messages/events是有关联的,应该按顺序处理。 Kafka 通过使用 ABC1 产品购买的 order-id 进行分区来提供保证。

免责声明:

  • 此答案假定您指的是 Redis Streams(在 Redis 5.0 中引入)。
  • 我不确定 "event" 是什么意思,我在 OP 中评论要求澄清。我会尽量在没有澄清的情况下回答,并在您澄清概念后编辑我的答案。最后查看我的编辑。

Redis Streams 的 ID 也使用顺序 ID,如 XADD 命令文档中所述:

IDs are specified by two numbers separated by a - character [...]
Both quantities are 64-bit numbers. When an ID is auto-generated, the first part is the Unix time in milliseconds of the Redis instance generating the ID. The second part is just a sequence number and is used in order to distinguish IDs generated in the same millisecond.
IDs are guaranteed to be always incremental

由于 Redis 服务器是 (mostly) single-threaded,请求的处理顺序与 Redis 服务器接收它们的顺序相同,在最后一个请求得到响应之前不会处理新请求。

但是,网络问题可能会对此产生影响。考虑以下情况(NETWORK 是消息在传输过程中):

Time    Cli1        Cli2        Redis Server
   1    XADD -----------------> Processing Cli1 Request
   2            NETWORK <------ Answer: ID 1
   3                XADD -----> Processing Cli2 Request
   4                ID 2 <----- Answer: ID 2
   5    ID 1 <--NETWORK

如果 Cli1 和 Cli2 比较他们的答案和接收时间,似乎服务器以错误的顺序处理请求,但对于服务器来说一切正常。
此外,如果服务器正在处理 Cli1 请求时 Cli2 请求到达,它将等到 Cli1 处理完成后才开始处理 Cli2。

在 OP 编辑​​问题后进行编辑

在文档页面 Differences with Kafka partitions of the Introduction to Redis Streams 部分中,指出:

If you use 1 stream -> N consumers, you are load balancing to N consumers, however in that case, messages about the same logical item may be consumed out of order, because a given consumer may process message 3 faster than another consumer is processing message 4.

So basically Kafka partitions are more similar to using N different Redis keys. While Redis consumer groups are a server-side load balancing system of messages from a given stream to N different consumers.

因此,Redis 中的 Consumer Groups 功能与 Kafka 的功能不同。

可以通过使用多个Redis键并标记每个消费订单来进行您想要的分组,但是(据我所知)Redis不提供此功能,因此您需要自己实现。