将您的事件直接从 kafka 存储到数据库中?,什么时候或为什么之前使用 S3/HDFS?

Store your events directly from kafka into database?, when or why using S3/HDFS before?

我正在学习 event-streams/event 管道。

我知道正常(和简单)的管道看起来如何,让我们说这样的话,这在互联网上很容易找到:

Kafka-> S3/HDFS/... -> database/datawarehouse

我的问题是下一个,为什么我看不到这个架构?:

Kafka -> database/datawarehouse

我知道为什么在我的公司我们使用 S3 在进入数据库之前存储我们的事件,但我只是想要一些额外的意见或观点,因为我在具有事件流管道的公司工作的时间不多 谢谢!

这是我创建的架构图之一:

Note: Here, I am pushing data from Kafka to MongoDB, Hive and HBase

Kafka 有连接器,如果您只想将数据从 Kafka 流式传输到其他存储库(接收器连接器)或相反(源连接器),则应该利用这些连接器。

在此处查看文档。

https://docs.confluent.io/current/connect/managing/connectors.html

https://kafka.apache.org/documentation.html#connect