集成 Kafka 和 sql 服务器 2008

Integrating Kafka and sql server 2008

我有一个 SQL 2008 R2 数据库,我想将其与 Kafka 集成 所以基本上我想使用更改数据捕获来捕获我的 table 中的更改并将它们放在 Kafka 队列中 - 这是为了让前端开发人员从 Kafka 读取数据。有没有人以前做过这个或有任何关于如何去做的提示?

您无法直接从 Sql 服务器执行此操作。您必须编写自己的生产者,它将从 Sql 提取一天,并推送到 Kafka 队列。我们目前正在通过将数据推送到 Kafka

的后台服务做同样的事情

Kafka Connectors 现在将解决此问题,特别是 JDBC 连接器。

The JDBC connector allows you to import data from any relational database with a JDBC driver into Kafka topics. By using JDBC, this connector can support a wide variety of databases without requiring custom code for each one.

来源:http://docs.confluent.io/3.0.0/connect/connect-jdbc/docs/jdbc_connector.html

另请参阅:

Kafka Connect JDBC Connector source code on GitHub

Kafka Connect Documentation