在 Debezium Mysql 连接器中将更多表列入白名单的有效方法

Question

将新 table 列入 debezium mysql 连接器的白名单时，是否遵循任何最佳实践？

我们正在为我们的 CDC 流程使用 debezium mysql 连接器，并且出现了一个用例将更多 table 列入连接器配置的白名单。这是正在使用的 debezium 的版本详细信息和

{
    "class": "io.debezium.connector.mysql.MySqlConnector",
    "version": "0.8.0.Final",
    "snapshot.mode": "schema_only"
}

有一张 debezium 票证 https://issues.redhat.com/browse/DBZ-906 向运行指示

中的连接器

"snapshot.mode": "schema_only_recover"

模式并在重新启动连接器之前重新创建历史主题。我对这种方法有几个问题

这个选项也适用于上述版本吗？

在 table 被列入白名单之前，我如何获得对新 table 的更新？

Answer 1

首先，请升级 Debezium，因为版本 0.8.0 非常旧。

通常有多种方法可以解决您的问题，但如果您能承受得起暂停流式传输的费用，我建议您这样做 1）停止当前连接器 2) 启动一个新的连接器与白名单 new table 以在其上执行快照 3) 快照完成后，使用更新的白名单 table list

启动原始连接器

如果您无法承受停机时间，请查看 DBZ-175

中介绍的实验方法

Efficient ways for whitelisting more tables in Debezium Mysql Connector