如何让消费者从 Kafka 请求超过 1MB 的记录

Question

每当我的消费者从 Kafka 请求一个新的批次时，它总是请求 1MB 的数据，然后它似乎请求下一个 1MB，依此类推。有人知道接收 20MB 批次的配置和编程步骤是什么吗？

Answer 1

您可以将消费者属性中的属性 max.partition.fetch.bytes设置为您想要的值（默认为1MB）。

此外，此值必须等于或大于代理配置中的 max.message.size 属性，以确保您的消费者能够读取代理接受的所有消息。

最后，如果处理 20MB 花费的时间太长，您可能需要增加消费者的 session.timeout.ms 设置（默认为 3 秒），以避免代理认为您的消费者已死并触发重新平衡。