解释 Kafka 中的 replication-offset-checkpoint 和 recovery-point-offset

Explain replication-offset-checkpoint AND recovery-point-offset in Kafka

能否解释一下这些文件的含义,它们存在于 kafka 代理日志中。

root@a2md23297l:/tmp/kafka-logs-1# cat recovery-point-offset-checkpoint
0
5
my-topic 0 0
kafkatopic_R2P1_1 0 0
my-topic 1 0
kafkatopic_R2P1 0 0
test 0 0
root@a2md23297l:/tmp/kafka-logs-1# cat replication-offset-checkpoint
0
5
my-topic 0 0
kafkatopic_R2P1_1 0 2
my-topic 1 0
kafkatopic_R2P1 0 2
test 0 57

Fyi,my-topic,kafkatopic_R2P1_1,my-topic,kafkatopic_R2P1,test是创建的主题。 提前致谢。

AFAIK:recovery-point-offset-checkpoint 是内部代理日志,Kafka 在其中跟踪哪些消息(从到偏移量)已成功检查到磁盘。

replication-offset-checkpoint 是 Kafka 跟踪哪些消息(from-to offset)被成功复制到其他 broker 的内部 broker 日志。

有关详细信息,您可以在 a deeper look kafka/core/src/main/scala/kafka/server/LogOffsetMetadata.scalaReplicaManager.scala 处查看。代码注释得很好。

Marko 是正确的。

开头的两个数字(0- 不确定这是什么)(5-该特定磁盘上存在的分区数)

主题名称旁边的数字(0-主题的分区号) 下一个数字是刷新到磁盘的偏移量(恢复点偏移量检查点)和复制偏​​移量检查点中副本成功复制数据的最后一个偏移量