Kafka 物化视图 TTL
Kafka Materialized Views TTL
据我所知,Kafka默认会将topics中的记录保留7天,然后删除。但是 Kafka 物化视图怎么样,Kafka 会将数据保存在那里多长时间(不定式或有限时间)?另外,Kafka 是否会在集群上复制物化视图?
Kafka 主题可以配置保留时间或日志压缩。对于日志压缩,每个键的最新记录永远不会被删除,而具有相同键的旧记录会定期进行垃圾回收。参见 https://kafka.apache.org/documentation/#compaction
当 Kafka Streams 创建一个 KTable
或状态存储并创建一个用于容错的变更日志主题时,它将创建这个启用日志压缩的变更日志主题。
Note: if you read a topic directly as a KTable
or GlobalKTable
(ie, builder.table(...)
), no additional changelog topic will be created but the source topic will be used for this purpose. Thus, the source topic should be configured with log compaction (and not with retention time).
您可以使用 StreamConfig
参数 repliaction.factor
配置所需的复制因子。如果您愿意,您也可以随时手动更改复制因子,例如,通过 bin/kafka-topics.sh
命令。
据我所知,Kafka默认会将topics中的记录保留7天,然后删除。但是 Kafka 物化视图怎么样,Kafka 会将数据保存在那里多长时间(不定式或有限时间)?另外,Kafka 是否会在集群上复制物化视图?
Kafka 主题可以配置保留时间或日志压缩。对于日志压缩,每个键的最新记录永远不会被删除,而具有相同键的旧记录会定期进行垃圾回收。参见 https://kafka.apache.org/documentation/#compaction
当 Kafka Streams 创建一个 KTable
或状态存储并创建一个用于容错的变更日志主题时,它将创建这个启用日志压缩的变更日志主题。
Note: if you read a topic directly as a
KTable
orGlobalKTable
(ie,builder.table(...)
), no additional changelog topic will be created but the source topic will be used for this purpose. Thus, the source topic should be configured with log compaction (and not with retention time).
您可以使用 StreamConfig
参数 repliaction.factor
配置所需的复制因子。如果您愿意,您也可以随时手动更改复制因子,例如,通过 bin/kafka-topics.sh
命令。