保留期后的 Kafka Offset

Question

我有一个包含 1 个分区的 kafka 主题。如果其中有 100 条消息，则偏移量将从 0.99 开始。

根据 kafka 保留策略，所有消息都将在指定时间后被清除。

我将向主题发送 100 条新消息，一旦所有消息都被清除（保留期后）。现在，消息的新偏移量从哪里开始？是从100还是从0开始？？

我想了解新的偏移量是 100-199 还是 0-99？

Answer 1

Kafka 通过删除满足谓词的日志段来遵守日志保留策略，并且它永远不会删除活动日志段，这意味着活动日志段的基本偏移量将始终保留。

对于您的示例，如果第一批 100 条消息都在同一个日志段中，Kafka 将创建一个新的日志段，其基本偏移量为 100，并在 log-retention-period 后删除旧段经过的时间。所以一条新消息从 100 开始偏移。