MYSQL CDC 使用 apache Kafka 和 kafka 在我的本地连接而不使用 docker 和 confluent

MYSQL CDC using apache Kafka and kafka connect on my local without using docker and confluent

在没有 docker 和 CDC

融合云的服务器上 运行 Kafka 集群的最佳方式是什么

我如何将 mysql 数据库连接到本地的 kafka 集群 运行ning 并创建到另一个 mysql 数据库的接收器连接。

我看到 REST API 是最好的方法,但不确定如何去做。

我需要运行生产者端的配置吗?需要了解如何实施它

从 MySQL 读取不需要 Confluent 产品。

Debezium 是开源的,Apache 2.0 许可证。 Kafka 和 Kafka Connect(Debezium 使用)也是如此。

Kafka Connect has a REST API,没错,就是这么用的

The Debezium tutorial使用MySQL和Docker,但所有步骤都可以在没有Docker的情况下重复:

  • 下载卡夫卡
  • 下载 Debezium 连接器和 MySQL 驱动程序并设置连接类路径 + 插件(遵循 Debezium 安装文档)
  • 启动 Zookeeper 和 Kafka 并连接分布式服务器(按照上面的 Kafka 快速入门和连接文档,并使用分布式模式
  • 重新配置数据库地址&HTTP-POST教程中提到的JSON启动CDC Connector

为了sink数据到另一个数据库,你会想尝试使用Confluent's JDBC Sink connector