如何通过 REST 或任何方式轻松地将流结果保存到远程数据库中

Question

我检查了 confluent kafka stream wordcount 和异常检测示例。在这些示例中，结果被写入主题。取而代之的是如何通过 REST 或任何方式轻松快速地将结果保存到远程数据库中。 confluent platform有没有结构

代码示例： // 而不是代码，发送远程数据库

wordCounts.toStream().to("streams-wordcount-output", Produced.with(stringSerde, longSerde));

Answer 1

这里通常的模式是将流处理的结果写入 Kafka 主题，然后使用 Kafka Connect 将该主题流式传输到您想要将数据持久化到的任何位置。 Kafka Connect 是 Apache Kafka 的一部分，有许多连接器，包括 kafka-connect-jdbc 用于将数据写入（和从）数据库。

如果您直接从您的流应用程序写入数据库，您将不必要地将您的处理和存储捆绑在一起。如果数据库离线或无法访问，您的流处理必须处理该问题。相反，将两者分离，Kafka Connect 将处理无法访问的数据库等。