Hadoop Namenode HA 和 HDFS federation 之间有什么区别

What is difference between Hadoop Namenode HA and HDFS federation

我对使用 QJM 和 HDFS 联合的 Hadoop Namenode HA 有点困惑。两者都使用多个名称节点并且都提供高可用性。我无法决定将哪种架构用于 Namenode 高可用性,因为除了 QJM 之外,两者看起来完全相同。

如果这不是这里要讨论的问题类型,请原谅。

HDFS High Availability 和 HDFS Federation 之间的主要区别在于,Federation 中的名称节点彼此不相关。

在 HDFS 联邦中,所有名称节点共享一个元数据池,其中每个名称节点都有自己的池,因此提供容错能力,即如果联合中的一个名称节点发生故障,它不会影响其他名称节点的数据。

因此,Federation = 多个名称节点且没有关联。

而在 HDFS HA 的情况下,有两个名称节点 - 主 NN 和备用 NN。 Primary NN 一直在努力工作,每次 Standby NN 只是坐在那里,不时地冷却和更新它与 Primary Namenode 相关的元数据,这使它们相关联。 当主要 NN 厌倦了这种常见的 sheet(即失败)时,备用 NameNode 将接管它拥有的任何最新元数据。

至于 HA 架构,您需要至少将两台单独的机器配置为 Namenode,其中只有一台应该 运行 处于活动状态。

此处有更多详细信息:HDFS High Availability