使用 NIFI 从 Kafka 插入到 Cassandra

Question

我需要将巨大的 CSV 文件从 Kafka 主题读取到 Cassandra。我配置 Apache Nifi 来实现相同的目的。

流量：

用户无法控制 Nifi 设置。他只指定了CSV所在的URL。 Web 应用程序将 URL 写入 kafka 主题。 Nifi 获取文件并插入到 Cassandra 中。

我如何知道 Nifi 已将 CSV 文件中的所有行插入到 Cassandra 中？我需要让用户知道插入已完成。

如有任何帮助，我们将不胜感激。

Answer 1

我找到了解决方案。

使用 MergeContent 处理器，所有具有相同“fragment.identifier”值的 FlowFiles 将被组合在一起。 MergeContent 对它们进行碎片整理后，我们可以通知用户。