如何定义主题保留字节和段字节,以便主题分区的大小不会高到特定大小

how to defined the topics retention bytes and segment bytes so size of topic partition will no high the specific size

我们有 3 nodes

的 kafka 集群

kafka 包含 5 topics 并且每个主题包含 100 partitions

弓我们想设置 retention bytesretention segment 的方式每个主题分区不会高 5G (因为我们根据 kafka 磁盘大小限制)

是否可以调整保留字节和段字节的值,这样任何主题分区都不会比 5G 高?

无法限制主题的大小。如果您将数据推送到主题的速度比 LogCleaner 线程有时间清理它的速度快,则保留甚至可能会超过 retention.bytes

另请注意,即将推出的 Kafka 版本 will offer infinite retention

或者您可以类似地使用 Apache Pulsar 的分层存储功能而不是 Kafka