通过 Kafka 发送文件

Question

我们正在使用 Kafka 流将图像文件从一个网络服务发送到另一个网络服务以保持持久性。在此过程中，我们将图像转换为字节数组，然后将它们转换为 Base64 编码的字符串，并将其作为消息与其他文件元数据一起发送。由于图像文件太大，我们的 Kafka 正在下降。

是否有更好的选择通过 Kafka 流式传输这些图像以及文件元数据？

Answer 1

您可能想要使用 Kafka 生产者的 compression 数据。 Spring Cloud Stream Kafka 绑定器允许使用 属性 指定压缩类型：spring.cloud.stream.kafka.bindings.<channelName>.producer.compressionType

此 属性 接受 snappy 和 gzip 作为压缩值，none 不压缩（默认）。