Confluent JDBC 源连接器增量起始行

Confluent JDBC source Connector incremental starting row

我想使用 Confluent 的 JDBC 源连接器将数据从 SQL 服务器 table 检索到 Kafka。

我想使用递增模式从 table 连接器启动的那一刻开始检索数据 运行ning:

connector.class=io.confluent.connect.jdbc.JdbcSourceConnector
mode=incrementing
incrementing.column.name=id_column_name

当我 运行 这个连接器时,它开始检索 table 中的所有行,而不是在那个时间点之后要插入的行。我一直在检查 connector configuration properties,但我似乎找不到适合这种情况的配置元素。

table 不包含任何时间戳值,因此我无法使用 timestamp.initialtimestamp.column.name 属性。但是它包含一个 Datetime 列,但我认为这在这种情况下没有用。

我该怎么做?

如有任何帮助,我们将不胜感激。

您可以尝试使用 query-based ingest or manually seed the offsets topic 和适当的值。

来源:Kafka Connect Deep Dive – JDBC Source Connector by Robin Moffatt