重要的kafka消费者群体数量时带宽的重要使用

Question

我使用的 kafka 可能与预期的有点不同：

• 4 个主题（每个主题 3 个分区）
• 每个主题大约有一千个消费者群体
• 要交换的数据非常少（大约 1ko 的消息，每个主题每天大约 10 条记录）
• 消费者使用 spring-kafka
实现

遗憾的是，我观察到带宽的重要使用（持续约 25Mbit/s），我想这是因为消费者需要保持与集群的连接（这种带宽使用甚至在没有消息时也会发生）。

我的消费者在使用数据时没有那么有效是可以的。是否有消费者配置来减少这种网络使用，即使这意味着不实时接收记录。

您是否知道为什么我可以如此重要地使用带宽以及我的消费者的哪些配置可以减少它？

Answer 1

为了减少网络使用，我更改了消费者的一些设置：

首先我增加了心跳间隔：

• session.timeout.ms
• 心跳间隔

然后，我增加了 fetch max wait :

• request.timeout.ms
• 获取最大等待

对于这两种可能性，都有两个属性，因为它们是相关的。

希望它能帮助遇到与我相同问题的人:)