KafkaSpout(Storm) 解压消息

Question

我正在使用 KafkaSpout 来消费来自 Kafka 的消息。

消息是用 org.apache.kafka.clients.producer.KafkaProducer 生成的 使用 gzip 压缩 props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip");

如何在 KafkaSpout 中设置压缩类型以使用未压缩的消息？

Answer 1

gzip 压缩是自动处理的。 如果它是文本文件，那么您可以直接使用输入流读取，或者对于 XML 文件，您将其作为常规文件进行解析。

属性 props.put(ProducerConfig.COMPRESSION_TYPE_CONFIG, "gzip"); 不需要。

如有错误，请post指正。