使 Kafka 主题日志保留永久
Make Kafka Topic Log Retention Permanent
我正在将日志消息写入 Kafka 主题,我希望永久保留该主题。我在 Kafka 和 Kafka Connect (_schemas, connect-configs, connect-status, connect-offsets, etc) 中看到有日志保留时间没有删除的特殊主题。我如何强制一个主题与这些其他特殊主题一样?是命名约定还是其他一些属性?
谢谢
如果想永久保留所有主题,可以将log.retention.hours
和log.retention.bytes
都设置为-1。
这些专题是紧凑型专题。这意味着它们由键控消息组成,并且只保留列表最近的键。满写here。在大多数情况下,这可能是您想要的无限保留时间。
您可以在此处找到参数的默认值:
https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html
log.retention.bytes
和 log.retention.ms
可以设置为 -1 如果你想永远保留主题中的数据。
我正在将日志消息写入 Kafka 主题,我希望永久保留该主题。我在 Kafka 和 Kafka Connect (_schemas, connect-configs, connect-status, connect-offsets, etc) 中看到有日志保留时间没有删除的特殊主题。我如何强制一个主题与这些其他特殊主题一样?是命名约定还是其他一些属性?
谢谢
如果想永久保留所有主题,可以将log.retention.hours
和log.retention.bytes
都设置为-1。
这些专题是紧凑型专题。这意味着它们由键控消息组成,并且只保留列表最近的键。满写here。在大多数情况下,这可能是您想要的无限保留时间。
您可以在此处找到参数的默认值: https://jaceklaskowski.gitbooks.io/apache-kafka/content/kafka-properties.html
log.retention.bytes
和 log.retention.ms
可以设置为 -1 如果你想永远保留主题中的数据。