Confluent Replicator 端到端延迟指标要求

Question

问题陈述： 我正在尝试找出 复制器 从 On-prem 到端到端的延迟AWS 数据复制。我们在复制器的消费者组中发现我们可以选择显示端到端延迟，但它没有在控制中心显示任何数据，如下面的屏幕截图所示。我尝试了一些如下所述的方法，但没有用。

我们需要知道的是：

要为此配置哪些指标？
我们如何配置这些指标？
我正在探索下面提到的正确的东西吗？
有没有人有任何经验或遇到过类似的问题

我们测试了消费者组显示目标集群中落后的整体消息运行。

下屏没有显示任何数据。我试着弄清楚为什么？

在 Replicator 连接器中，我添加了以下属性以启用拦截器：什么汇合说： “要监控控制中心的生产和消费，请在您的 Apache Kafka® 应用程序中安装 Confluent Monitoring Interceptors，并将您的应用程序配置为在生成和消费的 Kafka 消息上使用拦截器，然后将这些消息发送到控制中心。”

我们在 Replicator 中安装了它，如下所述：

{ 
 "name":"replicator",
    "config":{
      ....
     "src.consumer.interceptor.classes": "io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor",
      ....
    }
  }
}

然后我检查了已配置的 Confluent Metrics Reporter 的代理。

谢谢 :)

Answer 1

以下是对我有用的配置。

仅供参考..... 控制 center/Replicator（connect worker）在我的源集群上运行ning。

consumer.properties

zookeeper.connect=src-node1:2181,src-node2:2181,src-node3:2181
bootstrap.servers=src-node1:9092,src-node2,src-node3:9092
interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringConsumerInterceptor

producer.properties

zookeeper.connect=dst-node1:2181,dst-node2:2181,dst-node3:2181
bootstrap.servers=dst-node1:9092,dst-node2:9092,dst-node3:9092
interceptor.classes=io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor

replicator.properties

#Replication configuration
name=replicator-onprem-to-aws
topic.rename.format=${topic}.replica
replication.factor=1
config.storage.replication.factor=1
offset.storage.replication.factor=1
status.storage.replication.factor=1
confluent.topic.replication.factor=1

如果您查看上面的配置，它是运行复制器的基本配置。我在这里没有使用任何花哨的东西。

然后你可以运行下面的命令：

[root@src-node1 ~]$ /app/confluent-5.3.1/bin/replicator  --cluster.id 1 --consumer.config config/consumer.properties --producer.config config/producer.properties --replication.config config/replicator.properties --whitelist 'test-topic' > replicator.log 2>&1 &

Confluent Replicator 端到端延迟指标要求

Confluent Replicator End to End Latency Metrics Required

apache-kafka

apache-kafka-connect

confluent-control-center

confluent-platform