只从 Kafka 读取密钥

Question

是否可以只读取Kafka中的key？我们有一个应用程序，其中存储在 Kafka 日志中的值非常大。为了调试和快速检查某个消息是否（仍然）在日志中以及在哪个偏移量，最好只通过键获取和 grep 而不是读取整个消息值。仅仅丢弃消费者端的价值会浪费大量时间和带宽吗？

我们可以只拿钥匙吗？如何？ Java 首选解决方案，但 Scala 也可以。

Answer 1

根据 Kafka Wire Protocol，不可能只获取键或值。获取请求不包含任何仅请求键或值的信息，因此返回的消息集将包含返回消息的所有键和值。

您当然可以在客户端过滤掉 keys/values，但目前，我看不到任何可以避免您正在寻找的网络开销的可能性。