KSQL - 确定何时加载 Table

Question

我如何确定 KSQL 何时将我的数据从 Kafka 主题完全加载到我的 table？

目标： 获取 2 个 Kafka 主题，加入它们并将结果写入一个新的 Kafka 主题。

示例：

我正在使用 Ksql 的 Rest API 发出以下命令。

CREATE TABLE MyTable (A1 VARCHAR, A2 VARCHAR) WITH (kafka_topic='topicA', key='A1', value_format='json');
CREATE STREAM MyStream (B1 varchar, B2 varchar) WITH (kafka_topic='topicB', value_format='json');
CREATE STREAM MyDestination WITH (Kafka_topic='topicC', PARTITIONS = 1, value_format='json') AS SELECT a.A1 as A1, a.A2 as A2, b.B1 as B1, b.B2 as B2 FROM  MyStream b left join MyTable a on a.A1 = b.B1;

问题：topicC 只有来自 topicB 的数据，所有连接的值都是空的。

虽然我从创建 table 命令收到成功状态，但似乎数据尚未完全加载到 table。因此，第三条命令的结果仅包含来自流的数据，不包含来自 table 的数据。如果我在执行 join 命令之前人为地延迟，那么生成的主题将正确地包含来自两个主题的数据。我如何确定我的 table 何时加载，并且可以安全地执行加入命令？

Answer 1

这确实是一个很好的问题。此时，KSQL 无法仅在 table 完全加载后自动执行流-table 连接。这确实是一个有用的功能。这里讨论了一个更一般和相关的问题：https://github.com/confluentinc/ksql/issues/1751

Answer 2

KSQL（和底层Kafka Streams）中的表具有时间维度，即随时间演化。对于流-table 连接，每个流记录都与 "correct" table 版本连接（即，table 是按时间版本化的）。

在即将发布的 CP 5.1 版本中，您可以 "pre-load" table，方法是确保 table 主题的所有记录时间戳都小于流主题的记录时间戳。这告诉 KSQL，它需要先处理 table 主题数据，但在开始加入之前相应地推进 table 时间戳版本。

有关更多详细信息，请查看：https://www.confluent.io/resources/streams-tables-two-sides-same-coin

KSQL - 确定何时加载 Table

KSQL - Determining When a Table Is Loaded

apache-kafka

ksqldb