Confluent Kafka Connect:新记录未填充我的 table-特定主题
Confluent Kafka Connect: New records are not populating my table-specific topic
我已经设置了一个简单的 Kafka 连接进程来连接到 Oracle CDB/PDB 环境并检测其中的变化。
已成功设置所有组件且没有错误 - table已创建,用户可以查询,主题已创建等。
但是,我在 CDC 流程中遇到了一个问题,即“新记录未填充我的 table 特定主题”。
这里的 confluent 故障排除指南中有一个针对此问题的条目:
https://docs.confluent.io/kafka-connect-oracle-cdc/current/troubleshooting.html#new-records-are-not-populating-my-table-specific-topic
但是在阅读这篇文章时我不确定,因为根据您的看法,它可以有多种解释方式:
New records are not populating my table-specific topic
The existing schema (of the table-specific topic?) may not be compatible with the redo log topic (incompatible redo schema or incompatible redo topic itself?).
Removing the schema (the table-specific or redo logic schema?) or using a different redo log topic may fix this issue (a different redo topic? why?)
从这里开始,我一直没有运气让我的过程检测到这些变化。从 Confluent 寻求一些支持以完全理解上述解决方案。
在我们的案例中,原因是缺少 redo.log.consumer.bootstrap.servers
设置。此外,重做主题名称设置 redo.log.topic.name
很重要。
假设:看起来,在 'snapshot' 模式的情况下,连接器将初始数据带到 table 主题,然后开始拉取重做日志并将相关条目写入 'redo' 话题。同时,作为一个单独的任务,它启动一个消费者任务以读取重做主题,并且该消费者任务实际上将 CDC 更改写入 table 个主题。这就是 'redo.log.consumer.*' 设置与配置相关的原因。
我已经设置了一个简单的 Kafka 连接进程来连接到 Oracle CDB/PDB 环境并检测其中的变化。
已成功设置所有组件且没有错误 - table已创建,用户可以查询,主题已创建等。 但是,我在 CDC 流程中遇到了一个问题,即“新记录未填充我的 table 特定主题”。
这里的 confluent 故障排除指南中有一个针对此问题的条目: https://docs.confluent.io/kafka-connect-oracle-cdc/current/troubleshooting.html#new-records-are-not-populating-my-table-specific-topic
但是在阅读这篇文章时我不确定,因为根据您的看法,它可以有多种解释方式:
New records are not populating my table-specific topic
The existing schema (of the table-specific topic?) may not be compatible with the redo log topic (incompatible redo schema or incompatible redo topic itself?). Removing the schema (the table-specific or redo logic schema?) or using a different redo log topic may fix this issue (a different redo topic? why?)
从这里开始,我一直没有运气让我的过程检测到这些变化。从 Confluent 寻求一些支持以完全理解上述解决方案。
在我们的案例中,原因是缺少 redo.log.consumer.bootstrap.servers
设置。此外,重做主题名称设置 redo.log.topic.name
很重要。
假设:看起来,在 'snapshot' 模式的情况下,连接器将初始数据带到 table 主题,然后开始拉取重做日志并将相关条目写入 'redo' 话题。同时,作为一个单独的任务,它启动一个消费者任务以读取重做主题,并且该消费者任务实际上将 CDC 更改写入 table 个主题。这就是 'redo.log.consumer.*' 设置与配置相关的原因。