Kafka 到 google Pub/Sub 使用 Sink Connector

Kafka to google Pub/Sub using Sink Connector

抱歉这个基本问题。

要求：需要将 json 负载从 spring 引导应用程序发送到 google pub sub。

我已经开始实施 kafka 生产者并向主题发布消息，从那里到 kafka 消费者正在接收 json。

现在我需要将 json 负载从 kafka 消费者发送到 google pub/sub。我很困惑，我应该为此需要 kafka 消费者吗？或者只是从 kafka 生产者到 google pub sub 我可以使用 kafka connector.jar 发送并在属性的主题中配置。非常感谢此实现的任何帮助

如果你想从 Kafka 获取消息到 Google Cloud Pub/Sub，你应该不需要编写自己的消费者。您可以创建 Google Cloud Pub/Sub Kafka connector. The Kafka Connect 服务的实例化通常是 Kafka 部署本身的一部分，因此您只需要启动一个配置为运行云 Pub/Sub 同步连接器的实例。连接器的 README 文件详细说明了需要执行的步骤，但总结一下：

下载 latest release 并通过 mvn package 命令构建它。
将 target/cps-kafka-connector.jar 复制到您的 Java 路径中的某个位置，以便在 Kafka Connect 运行s.
复制 sink config 并将其更改为指向适当的 Cloud Pub/Sub 项目和主题以及适当的 Kafka 主题。
复制 config/connect-standalone.properties 或 config/connect-distributed.properties，具体取决于您是否想要连接器运行ning 的单个实例或多个实例。
将 key.converter 和 value.converter 属性更新为 org.apache.kafka.connect.storage.StringConverter。这样，连接器将不会尝试解释正在传递的数据，而只会将 JSON 直接传递到 Cloud Pub/Sub.
根据独立连接器与分布式连接器，使用适当的命令启动连接器，例如，bin/connect-standalone.sh <standalone config file> <connector config file>。

消息现在应该从 Kafka 流入 Google 云 Pub/Sub。如果您只是使用 Kafka 从 Spring 启动到云 Pub/Sub，那么您可以通过设置 outbound channel adapter to send messages to Cloud Pub/Sub directly.

来避免 Kafka 步骤

Kafka 到 google Pub/Sub 使用 Sink Connector

Kafka to google Pub/Sub using Sink Connector

java

apache-kafka

spring-boot

google-cloud-pubsub