state store changelog 主题的消费者是什么

Question

我有一个使用处理器 api 的拓扑，它更新状态存储，配置复制因子 3，acks=ALL

Topologies:
   Sub-topology: 0
    Source: products-source (topics: [products])
      --> products-processor
    Processor: products-processor (stores: [products-store])
      --> enriched-products-sink
      <-- products-source
    Sink: enriched-products-sink (topic: enriched.products)
      <-- products-processor

我的监控显示源主题（< 100 条记录）的延迟很小，但是支持商店的更改日志主题有明显的延迟，达到数百万条记录的顺序。

我正在尝试找出此更新日志主题滞后的根本原因，因为我没有在此处理器中发出任何外部请求。有调用 rocksdb 状态存储，但是这些数据存储都是本地的，应该可以快速检索。

我的问题是这个更改日志主题的消费者到底是什么？

Answer 1

更改日志主题的消费者是恢复消费者。还原消费者是内置于 Kafka Streams 中的 Kafka 消费者。与从源主题读取记录的主要消费者不同，恢复消费者负责从更改日志主题恢复本地状态存储，以防本地状态不存在或过时。基本上，它确保本地状态存储在故障后恢复。恢复消费者的第二个目的是使 stand-by tasks 保持最新。

Kafka Streams 客户端中的每个流线程都有一个还原消费者。恢复消费者不是消费者组的成员，Kafka Streams 手动分配变更日志主题以恢复消费者。恢复消费者的偏移量不在消费者偏移量主题 __consumer_offsets 中作为主要消费者的偏移量进行管理，而是在 Kafka Streams 客户端的状态存储目录中的文件中进行管理。

state store changelog 主题的消费者是什么

What are the consumers for state store changelog topics

apache-kafka

apache-kafka-streams