对于一个spring 多实例的企业Web应用,如何从Kafka获取offset值并存储?
For a spring enterprise web application with multiple instances, What is the way to retrieve the offset value from Kafka and store it?
我正在开发一个企业 Web 应用程序,该应用程序需要从 Kafka 系统读取数据然后触发事件。谁能建议一种获取偏移量的方法以及存储偏移量的理想方法(理想的方法应该能够处理应用程序的多个实例的访问)?
注:-
我正在使用 spring-kafka 并愿意接受任何进一步的建议。
提前致谢。
对于最新版本的 Kafka,偏移量存储在 kafka 主题中。 Kafka 跟踪主题 __consumer_offsets
中每个分区的消费者偏移量,这是一个紧凑的主题;换一种说法; kafka 本身会跟踪每个消费者组的偏移量。
使用 Spring 用于 Apache Kafka;提交偏移量时提供了几个选项。
在早期版本的 kafka 中,偏移量通常存储在外部;现在简单多了。
可能仍有用例,但 Spring Kafka 都支持此类场景;特别是即将发布的 2.0 版本。
我正在开发一个企业 Web 应用程序,该应用程序需要从 Kafka 系统读取数据然后触发事件。谁能建议一种获取偏移量的方法以及存储偏移量的理想方法(理想的方法应该能够处理应用程序的多个实例的访问)?
注:- 我正在使用 spring-kafka 并愿意接受任何进一步的建议。
提前致谢。
对于最新版本的 Kafka,偏移量存储在 kafka 主题中。 Kafka 跟踪主题 __consumer_offsets
中每个分区的消费者偏移量,这是一个紧凑的主题;换一种说法; kafka 本身会跟踪每个消费者组的偏移量。
使用 Spring 用于 Apache Kafka;提交偏移量时提供了几个选项。
在早期版本的 kafka 中,偏移量通常存储在外部;现在简单多了。
可能仍有用例,但 Spring Kafka 都支持此类场景;特别是即将发布的 2.0 版本。