MySQL 的 Debezium 连接器 - 用于初始快照和正在进行的 CDC 的不同表集
Debezium connector for MySQL - different sets of tables for initial snapshot and ongoing CDC
我将 Debezium 连接器用于 MySQL 和 Kakfa。所以我的架构更改和数据更改进入kafka topcs。
我正在尝试看看是否可以在没有人工干预的情况下实现以下行为。
我只想将一个 table 作为 snapshot.mode=initial 快照的一部分。
然后我想要监控多个 tables 以进行持续的 CDC。
https://debezium.io/documentation/reference/stable/connectors/mysql.html 似乎列出了快照和 cdc tables 的单独选项，因此我假设在我的连接器配置中可能存在以下情况：
...
"table.include.list": "api.table1, api.table2",
"snapshot.include.collection.list": "api.table1",
...
table1 的快照完成，然后获取 table1 的 CDC 更改。我的 kakfa schema-changes 主题还显示了 table1.
的架构
然而，当我更改 table2 中的数据时，我收到 Kafka 连接器错误：
Caused by: io.debezium.DebeziumException: Encountered change event for table api.table2 whose schema isn't known to this connector
是否支持此行为，还是我需要手动分步执行此操作？
感谢任何建议。
我还在 debezium@googlegroups.com 列表上发帖，并被告知这是一个已知问题。从那时到现在，已经发布了修复程序。非常感谢 debezium 团队！ :)
我将 Debezium 连接器用于 MySQL 和 Kakfa。所以我的架构更改和数据更改进入kafka topcs。
我正在尝试看看是否可以在没有人工干预的情况下实现以下行为。
我只想将一个 table 作为 snapshot.mode=initial 快照的一部分。
然后我想要监控多个 tables 以进行持续的 CDC。
https://debezium.io/documentation/reference/stable/connectors/mysql.html 似乎列出了快照和 cdc tables 的单独选项，因此我假设在我的连接器配置中可能存在以下情况：
...
"table.include.list": "api.table1, api.table2",
"snapshot.include.collection.list": "api.table1",
...
table1 的快照完成，然后获取 table1 的 CDC 更改。我的 kakfa schema-changes 主题还显示了 table1.
然而，当我更改 table2 中的数据时，我收到 Kafka 连接器错误：
Caused by: io.debezium.DebeziumException: Encountered change event for table api.table2 whose schema isn't known to this connector
是否支持此行为，还是我需要手动分步执行此操作？
感谢任何建议。
我还在 debezium@googlegroups.com 列表上发帖，并被告知这是一个已知问题。从那时到现在，已经发布了修复程序。非常感谢 debezium 团队！ :)