使用 Apache Storm 将数据插入数据库，同时确保先加载父实体再加载子实体

Question

我正在尝试将数据从 Apache Kafka 加载到 SQL 服务器数据库。 Apache Kafka 为父实体和子实体以及数据提供单独的主题。通过为所有实体创建 spouts 和 bolts，我已经成功地将所有实体的数据从 Kafka 并行加载到 SQL 服务器。但这会导致子实体的空值，因为一些子记录在父实体之前加载。

为什么要追加？我该如何解决？

PS：我正在使用 Apache Storm 0.10 和 Apache Kafka 0.80

Answer 1

您可以在插入子实体之前查询父实体。如果尚未插入父项，请延迟插入子项，直到父项可用。