Hadoop 中的深度存储

Question

在浏览 Hadoop 生态系统中的不同列式数据库时，我遇到了术语 "Deep Storage"。我无法理解深度存储的含义。深度存储是否意味着数据湖？它与存储在 HDFS 中的数据有什么不同吗？

Answer 1

在 Druid 设置中，Deep Storage 是可以可靠地检索数据（段）的地方，可以是 HDFS、S3、Google Cloud 等（有可用的连接器插件） .

Druid Historical 节点将在初始 bootstrap 和重新平衡期间从此深度存储中检索数据。

同样，MiddleManagers 节点、Realtime 节点、索引任务将写入 Deep Storage 并使数据可用于集群。

综上所述，节点之间没有数据段的交换，Druid 使用 Deep Storage 作为真实来源。