使用 Debezium MySQL 连接器与 MSK 显示 "INVALID_REPLICATION_FACTOR"

Using Debezium MySQL connector with MSK shows "INVALID_REPLICATION_FACTOR"

我将 Debezium MySQL 与 MSK 一起使用,设置非常简单。与 MySQL (Aurora) 的连接测试正常。 Kafka主题创建、列表都可以。

但是,当我 运行 连接器时,在大量滚动信息后我得到

WARN [Producer clientId=xxx] Error while fetching metadata with correlation id 1 : {xxx.xxx=INVALID_REP
LICATION_FACTOR} (org.apache.kafka.clients.NetworkClient:1100)

其中很多不断出现,连接器无法正常工作。

一段时间后,我发现这是因为 MSK 上的默认 replication factor 设置遵循 Kafka 最佳实践 3,但我只创建了 2 个代理。

配置保持不变 3,当连接器尝试自动创建具有 3 个副本的主题时失败。奇怪的是,即使我手动创建了一个复制因子为 2 的主题,连接器也会抛出完全相同的警告。

Debezium 连接器似乎总是尝试内部主题。

创建新修订版并将复制因子设置为 2 解决了问题。