Kafka 是否提供 Producer 级别的偏移量?
Does Kafka provides Producer level offset?
假设,我有多个 Kafka 生产者同时向单个 Kafka 主题生成数据。
是否有可能获得给定生产者产生的最后一个偏移量?
例如:
制作人:P1 , P2
主题:T1
有一个分区 Partition-0
P1
发布了 100 条记录,P2
发布了 150 条记录。
我想找出P1和P2分别发布的最后一条记录的偏移量
请注意,我不是在请求全局主题分区偏移量。
Kafka 代理不跟踪该信息。
只有生产者拥有该信息,但这甚至不是他们内置指标的一部分。如果您想跟踪每个生产者的最后偏移量,您需要自己在每个生产者实例中创建一个指标。
您可以简单地检索 send()
返回的 RecordMetadata
对象中的 offset 并将其公开为度量标准。
假设,我有多个 Kafka 生产者同时向单个 Kafka 主题生成数据。
是否有可能获得给定生产者产生的最后一个偏移量?
例如:
制作人:P1 , P2
主题:T1
有一个分区 Partition-0
P1
发布了 100 条记录,P2
发布了 150 条记录。
我想找出P1和P2分别发布的最后一条记录的偏移量
请注意,我不是在请求全局主题分区偏移量。
Kafka 代理不跟踪该信息。
只有生产者拥有该信息,但这甚至不是他们内置指标的一部分。如果您想跟踪每个生产者的最后偏移量,您需要自己在每个生产者实例中创建一个指标。
您可以简单地检索 send()
返回的 RecordMetadata
对象中的 offset 并将其公开为度量标准。