我怎样才能在 kafka 生产者中使 batch.size 动态？

Question

保持 batch.size 小会在生产者上更频繁地发送消息并同时降低吞吐量并保持大会导致浪费 memory.Is 有任何解决方案可以根据负载动态调整此大小？

Answer 1

仅当您停止之前的生产者并开始新的生产者时。生产者对象在发送任何消息之前需要所有属性。您不能在作业进行过程中修改其属性。

Answer 2

您可以将 linger.ms 与 batch.size 属性 结合使用。如果您将 batch.size 设置为 5242880 (5 MB) 并将 linger.ms 设置为 10 毫秒。然后，生产者将等待直到批量大小被填满/达到延迟时间。

在官方文档中查看有关 linger.ms 属性 的更多信息。