spring-cloud-stream Kafka Reactive 流分区分配如何与并发处理一起工作
How spring-cloud-stream Kafka Reactive stream partition assignment working with concurrent processing
例如,我配置一个主题有 2 个分区,但在我的应用程序中有 1 个实例,我使用 Flux.parallel(10)
来消费消息,并且它在该主题上有 1000 条消息延迟,会发生什么?
- 每次轮询10条消息吗?来自 2 个分区还是 1 个分区?
- 每个只轮询 2 条消息和 1 个分区?
我想知道它是如何工作的,所以我可以正确配置它具有大吞吐量和消费序列的能力
顺便说一句,我找到了这个 issue,但现在在那里回答
最好使用多个接收器。
使用并行会导致乱序偏移提交问题。
例如,我配置一个主题有 2 个分区,但在我的应用程序中有 1 个实例,我使用 Flux.parallel(10)
来消费消息,并且它在该主题上有 1000 条消息延迟,会发生什么?
- 每次轮询10条消息吗?来自 2 个分区还是 1 个分区?
- 每个只轮询 2 条消息和 1 个分区?
我想知道它是如何工作的,所以我可以正确配置它具有大吞吐量和消费序列的能力
顺便说一句,我找到了这个 issue,但现在在那里回答
最好使用多个接收器。
使用并行会导致乱序偏移提交问题。