消息在 Apache Kafka 中被截断

Message got truncated in Apache Kafka

我是 kafka 的新手,我在本地安装了默认配置的 kafka 10。现在,我遇到了一个问题。 我正在制作来自控制台制作人的消息。如果消息大约为 4096 字节。然后,控制台消费者会很好地消费它。 但是当我将消息大小从 4096 Bytes.Then 增加时,在使用它时消息被截断为大约 4096 字节。 我没有遇到问题。

发生了什么事? a) 消息发布不完整。 b) 消息是否消费不完全

注意:我没有对默认设置进行任何更改,我正在使用控制台生产者和消费者。

请大家帮忙

您可能需要微调代理配置。 检查此页面:https://kafka.apache.org/documentation/#brokerconfigs

寻找 offset.metadata.max.bytes。默认值为 4096。将此值设置为大于 4096 的值。如果这不起作用,请寻找其他配置。您的问题可能是没有使用正确的配置。

出现问题的原因可能是您正在使用控制台生产者并将消息复制到终端(linux)但终端将长消息截断为最大固定长度。