连接器在 KSQLDB 和 Kafka 中是如何工作的?

How does connector works in KSQLDB and Kafka?

关于源连接器如何在 KSQLDb 和 Kafka 中一起工作,我没有足够的信息。

  1. 将数据填充到 Kafka 主题的速度有多快?

  2. 如果 KsqlDb 流需要来自源的数据来连接数据,但数据仍在加载怎么办?

  3. 源连接器是否向主题发送 updated/inserted 数据,它是即时发生的吗?

你能帮我解决这些问题,或者给我一个好的教程,我可以从中学到更多。

  1. How much fast the data is populated to Kafka topics?

取决于连接器。有些连接器是事件驱动的,有些使用轮询机制。事件驱动的连接器通常会更加实时,但通常需要更多的数据库端设置。基于轮询的连接器通常不需要任何数据库端更改。使用基于轮询的连接器,您可以增加轮询频率,以较低的延迟换取高数据库负载。

更多信息请查看连接器的文档。

  1. And what if KsqlDb stream needs data from source to join data, but data is loaded still?

ksqlDB 通常按时间顺序处理您的数据。当连接两个主题时,ksqlDB 将处理数据最旧的一侧。这通常意味着在引导 table 之前不会处理流数据。

  1. Does source connector send updated/inserted data to topic, it happens instantly?

不确定这个问题与问题 #1 有何不同。