高级消费者是否利用了 Kafka 0.8.2 中新的偏移量管理?
Does the high-level consumer exploit the new offset management in Kafka 0.8.2?
在 0.8.2 中,提交偏移量似乎不再像以前那样存在性能问题 (http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0-8-2/)。高级消费者是否也利用这一点,或者它是一个单独的API? IE。使用高级消费者时,我可以安全地开始更频繁地提交吗?
我还不能说与 Zookeeper 偏移量存储的性能比较,但高级消费者确实支持在 Kafka 0.8.2 中存储偏移量。您可以通过将 属性 offsets.storage
设置为 kafka
来配置它。对于当前向 Zookeeper 提交偏移量的任何现有消费者组,您还需要在迁移过程中将 属性 dual.commit.enabled
设置为 true
。
请参阅 details on migration 的 Apache Kafka 常见问题解答。
在 0.8.2 中,提交偏移量似乎不再像以前那样存在性能问题 (http://blog.confluent.io/2014/12/02/whats-coming-in-apache-kafka-0-8-2/)。高级消费者是否也利用这一点,或者它是一个单独的API? IE。使用高级消费者时,我可以安全地开始更频繁地提交吗?
我还不能说与 Zookeeper 偏移量存储的性能比较,但高级消费者确实支持在 Kafka 0.8.2 中存储偏移量。您可以通过将 属性 offsets.storage
设置为 kafka
来配置它。对于当前向 Zookeeper 提交偏移量的任何现有消费者组,您还需要在迁移过程中将 属性 dual.commit.enabled
设置为 true
。
请参阅 details on migration 的 Apache Kafka 常见问题解答。