如何使用 librdkafka 设置 Kafka 消息的最大大小

How to set the max size of a Kafka message using librdkafka

我正在尝试使用 Kafka 发送 ~10Mb 的消息。我知道它的默认大小是 1Mb,但这是一个硬性限制吗? librdkafka 可以支持 >10Mb 吗?我该如何设置?

您需要配置主题 max.message.bytes(参见 https://kafka.apache.org/22/documentation.html#topicconfigs), and configure the producer with message.max.bytes (see https://github.com/edenhill/librdkafka/blob/master/CONFIGURATION.md)。 请允许一些额外的 space(至少 ~500 字节)用于协议开销。