从 JDBC Kafka Connect Source 中删除事件

Delete events from JDBC Kafka Connect Source

我正在使用 Kafka Connect JDBC 连接器,特别是查看放入主题的数据的实际格式是什么。

我已经能够看到对数据库的新插入和更新,但我无法检测到从数据库中删除。

第一:JDBC源是否支持检测这些变化?我无法以任何方式找到文档。

如果是,它在实际主题上采用什么格式?

Confluent JDBC source connector 能够捕获 "soft deletes",其中 "deleted" 行只是被您的应用程序标记为这样,但实际上并没有从 table 中删除。由于行仍然存在,连接器可以看到它们的变化。但是,连接器 不能 能够捕获从 table 中删除的行,因为连接器通过 JDBC 查询源 tables 并且因此无法看到从 table 中删除的行。

其他连接器能够通过使用称为更改数据捕获或 CDC 的技术,利用数据库事务日志或预写日志来捕获所有更改。每个 DBMS 都是不同的,因此需要专门为该 DBMS 编写的连接器。例如,Debezium project 具有用于 MySQL、PostgreSQL 和 MongoDB 的 Kafka Connect 连接器,并且正在开发用于 Oracle 和 SQL Server 的连接器。