producer.override.compression.type 在 Kafka Connect 中做什么?
What does producer.override.compression.type do in Kafka Connect?
我在本地计算机上使用 CONNECT_CONNECTOR_CLIENT_CONFIG_OVERRIDE_POLICY=All
连接了 Kafka Connect 运行,连接器使用了 "producer.override.compression.type": "snappy"
。我的理解是,它会使 Debezium 连接器对其生成的 JSON 消息使用 Snappy 压缩。当我 运行 Kafka 控制台消费者时,我能够看到 JSON 有效负载。
有人可以帮助我了解解压缩发生的位置以及为什么我在控制台中看不到乱码吗?
它完全按照你说的做。它适用于具有该设置的所有连接器,不仅是 Debezium,而且适用于任何数据格式,不仅是 JSON.
生产者批次通过网络和代理进行压缩。
消费者自动解压,无需任何设置。
我在本地计算机上使用 CONNECT_CONNECTOR_CLIENT_CONFIG_OVERRIDE_POLICY=All
连接了 Kafka Connect 运行,连接器使用了 "producer.override.compression.type": "snappy"
。我的理解是,它会使 Debezium 连接器对其生成的 JSON 消息使用 Snappy 压缩。当我 运行 Kafka 控制台消费者时,我能够看到 JSON 有效负载。
有人可以帮助我了解解压缩发生的位置以及为什么我在控制台中看不到乱码吗?
它完全按照你说的做。它适用于具有该设置的所有连接器,不仅是 Debezium,而且适用于任何数据格式,不仅是 JSON.
生产者批次通过网络和代理进行压缩。
消费者自动解压,无需任何设置。