如何定义主题保留字节和段字节,以便主题分区的大小不会高到特定大小
how to defined the topics retention bytes and segment bytes so size of topic partition will no high the specific size
我们有 3 nodes
的 kafka 集群
kafka 包含 5 topics
并且每个主题包含 100 partitions
弓我们想设置 retention bytes
和 retention segment
的方式每个主题分区不会高 5G
(因为我们根据 kafka 磁盘大小限制)
是否可以调整保留字节和段字节的值,这样任何主题分区都不会比 5G
高?
无法限制主题的大小。如果您将数据推送到主题的速度比 LogCleaner 线程有时间清理它的速度快,则保留甚至可能会超过 retention.bytes
。
另请注意,即将推出的 Kafka 版本 will offer infinite retention
或者您可以类似地使用 Apache Pulsar 的分层存储功能而不是 Kafka
我们有 3 nodes
kafka 包含 5 topics
并且每个主题包含 100 partitions
弓我们想设置 retention bytes
和 retention segment
的方式每个主题分区不会高 5G
(因为我们根据 kafka 磁盘大小限制)
是否可以调整保留字节和段字节的值,这样任何主题分区都不会比 5G
高?
无法限制主题的大小。如果您将数据推送到主题的速度比 LogCleaner 线程有时间清理它的速度快,则保留甚至可能会超过 retention.bytes
。
另请注意,即将推出的 Kafka 版本 will offer infinite retention
或者您可以类似地使用 Apache Pulsar 的分层存储功能而不是 Kafka