在标准的 Kafka Connect JDBCConnector 中,为什么对象 JDBCSourceConnector 和 JDBCSourceTask 都建立了数据库连接?
In the standard Kafka Connect JDBCConnector, why does both the object JDBCSourceConnector and JDBCSourceTask both make a database connection?
在名为 Kafka Connect JDBC Connector there are two classes that I am trying to understand the relationship of, JDBCSourceConnector and JDBCSourceTask 的开源项目中。
我能理解为什么任务对象建立数据库连接,因为我们可能有 1 个或多个任务作为线程工作,所有任务都并行轮询数据库。我不明白的是为什么在连接器 class 中有相同的连接逻辑,而如果我们只想使用一个线程,我们可以使用一个任务来做到这一点?
这与我有关,因为我正在编写一个修改连接逻辑的分叉版本。我想了解我是否应该考虑出于某种我尚未确定的原因维护连接器数据库连接。我已经在修改任务连接逻辑了。
做出此选择是否有设计原因?
连接器本身偶尔会轮询数据库以查找与配置中的 black/white 表列表相匹配的表列表。如果 DBA 添加了新表,连接器将自动检测并启动其他任务来复制这些表。
在名为 Kafka Connect JDBC Connector there are two classes that I am trying to understand the relationship of, JDBCSourceConnector and JDBCSourceTask 的开源项目中。
我能理解为什么任务对象建立数据库连接,因为我们可能有 1 个或多个任务作为线程工作,所有任务都并行轮询数据库。我不明白的是为什么在连接器 class 中有相同的连接逻辑,而如果我们只想使用一个线程,我们可以使用一个任务来做到这一点?
这与我有关,因为我正在编写一个修改连接逻辑的分叉版本。我想了解我是否应该考虑出于某种我尚未确定的原因维护连接器数据库连接。我已经在修改任务连接逻辑了。
做出此选择是否有设计原因?
连接器本身偶尔会轮询数据库以查找与配置中的 black/white 表列表相匹配的表列表。如果 DBA 添加了新表,连接器将自动检测并启动其他任务来复制这些表。