Kafka Connect 重新读取整个文件以进行 KSQLDB 调试或 KSQLDB 是否有可能在查询创建后插入所有事件?
Kafka Connect Reread Entire File for KSQLDB Debugging or KSQLDB possiblity to insert all events after query creation?
我开始使用 KSQLDB 和 Kafka-connect 进行开发。 Kafka-connect 很棒,一切都很好,并且如果它检测到它已经在过去读取过记录,则具有不重新读取记录的行为(对生产非常有用)。但是,对于 KSQLDB 查询的开发和调试,有必要重放数据,因为 ksqldb 将在发出更改时即时创建 table 条目。如果没有重播 to 'test' 查询将保持为空。第一次插入文件后如何使用 kafka connect 重播 csv 文件有什么建议吗?也许,ksqldb 有可能在创建 table 之后重新阅读整个主题。有初学者的答案吗?
使用不同的名称创建源连接器,或为 CSV 文件指定一个新名称。两者都应该导致它被重新阅读。
我的配置文件也有问题,ksqldb 无法识别
SET 'auto.offset.reset'='earliest';
选项。使用上面的命令,注意 ', 以强制 ksqldb 在 table/stream 创建命令后从头开始重新读取整个主题。每次通过 ksql-cli 或客户端连接时都必须手动设置它。
我开始使用 KSQLDB 和 Kafka-connect 进行开发。 Kafka-connect 很棒,一切都很好,并且如果它检测到它已经在过去读取过记录,则具有不重新读取记录的行为(对生产非常有用)。但是,对于 KSQLDB 查询的开发和调试,有必要重放数据,因为 ksqldb 将在发出更改时即时创建 table 条目。如果没有重播 to 'test' 查询将保持为空。第一次插入文件后如何使用 kafka connect 重播 csv 文件有什么建议吗?也许,ksqldb 有可能在创建 table 之后重新阅读整个主题。有初学者的答案吗?
使用不同的名称创建源连接器,或为 CSV 文件指定一个新名称。两者都应该导致它被重新阅读。
我的配置文件也有问题,ksqldb 无法识别
SET 'auto.offset.reset'='earliest';
选项。使用上面的命令,注意 ', 以强制 ksqldb 在 table/stream 创建命令后从头开始重新读取整个主题。每次通过 ksql-cli 或客户端连接时都必须手动设置它。