kafka:如何删除消费者已经消费的数据?

kafka : How to delete data which already been consumed by consumer?

我设置server.properties'

log.retention.minutes=8

每隔8分钟自动清理kafka-logs/下的数据,

可不可以让清理器只清理已经消费的数据 ,消费者未使用的数据将保留 ?

谢谢!

没有。 Kafka 消息附加到日志文件,日志文件每 x 小时滚动一次或当它们达到一定大小时(取决于配置)。一旦滚动,这些文件是不可变的(您不能删除单个记录)。当对文件的最后一次写入访问超过保留时间时,将清除日志文件。

换句话说:保留时间是一条消息至少保留的时间。保留时间为几分钟的消息可能会持续数周(取决于其他配置设置)。

"consumer offsets"的概念是Kafka用来避免重新消费消息的机制。 Kafka 0.11 还将包含恰好一次功能。