python-kafka: 消费者是否可以根据消息属性跳过消息？

Question

给定一组消息，每条消息都有一个优先级属性。消费者是否可以跳过或忽略优先级属性不够高的消息？

一开始我反序列化了kafka-python消费者消费的消息，检查优先级，丢弃那些不符合要求优先级的消息。

但我担心如果消息很大，将不会进一步处理的反序列化消息会浪费大量时间。有没有一种方法可以在从 kafka 队列中读取时完成此操作？

Answer 1

Kafka 目前不以这种方式支持自定义元数据，因此消费者过滤掉某些消息的唯一方法是读取有效负载。然而，有一个 improvement proposal under discussion 可以解决这种情况，可能值得关注。