Kafka 代理日志中此错误的含义是什么?
Whats the meaning of this error in Kafka broker logs?
这个错误是什么意思?
Could not append error in kafka broker for streams application
partitions?
每当我启动 kafka 流应用程序时,我都会看到太多此类错误。
这个错误是什么意思,我该如何解决?
这是 Kafka 中的一个已知问题。它与
https://issues.apache.org/jira/browse/KAFKA-7190 和
https://issues.apache.org/jira/browse/KAFKA-6817。
这是一个已知错误,将通过 https://cwiki.apache.org/confluence/display/KAFKA/KIP-360%3A+Improve+handling+of+unknown+producer
解决
您对此无能为力,但需要等待修复。
问题是,Kafka Streams 主动从重新分区主题中删除数据 (cf https://issues.apache.org/jira/browse/KAFKA-6150),因此增加保留时间无济于事——事实上,Kafka Streams 使用 retention.ms=MAX_VALUE
配置重新分区主题已经.
您唯一可以做的就是增加重新分区主题的主题配置 segment.bytes
和 segment.ms
配置。使段变大可以减少事务生产者状态丢失的机会,因为活动段不受活动数据清除的影响,因此数据会保留更长的时间。
这个错误是什么意思?
Could not append error in kafka broker for streams application partitions?
每当我启动 kafka 流应用程序时,我都会看到太多此类错误。 这个错误是什么意思,我该如何解决?
这是 Kafka 中的一个已知问题。它与 https://issues.apache.org/jira/browse/KAFKA-7190 和 https://issues.apache.org/jira/browse/KAFKA-6817。
这是一个已知错误,将通过 https://cwiki.apache.org/confluence/display/KAFKA/KIP-360%3A+Improve+handling+of+unknown+producer
解决您对此无能为力,但需要等待修复。
问题是,Kafka Streams 主动从重新分区主题中删除数据 (cf https://issues.apache.org/jira/browse/KAFKA-6150),因此增加保留时间无济于事——事实上,Kafka Streams 使用 retention.ms=MAX_VALUE
配置重新分区主题已经.
您唯一可以做的就是增加重新分区主题的主题配置 segment.bytes
和 segment.ms
配置。使段变大可以减少事务生产者状态丢失的机会,因为活动段不受活动数据清除的影响,因此数据会保留更长的时间。