Hadoop Namenode HA 和 HDFS federation 之间有什么区别
What is difference between Hadoop Namenode HA and HDFS federation
我对使用 QJM 和 HDFS 联合的 Hadoop Namenode HA 有点困惑。两者都使用多个名称节点并且都提供高可用性。我无法决定将哪种架构用于 Namenode 高可用性,因为除了 QJM 之外,两者看起来完全相同。
如果这不是这里要讨论的问题类型,请原谅。
HDFS High Availability 和 HDFS Federation 之间的主要区别在于,Federation 中的名称节点彼此不相关。
在 HDFS 联邦中,所有名称节点共享一个元数据池,其中每个名称节点都有自己的池,因此提供容错能力,即如果联合中的一个名称节点发生故障,它不会影响其他名称节点的数据。
因此,Federation = 多个名称节点且没有关联。
而在 HDFS HA 的情况下,有两个名称节点 - 主 NN 和备用 NN。
Primary NN 一直在努力工作,每次 Standby NN 只是坐在那里,不时地冷却和更新它与 Primary Namenode 相关的元数据,这使它们相关联。
当主要 NN 厌倦了这种常见的 sheet(即失败)时,备用 NameNode 将接管它拥有的任何最新元数据。
至于 HA 架构,您需要至少将两台单独的机器配置为 Namenode,其中只有一台应该 运行 处于活动状态。
此处有更多详细信息:HDFS High Availability
我对使用 QJM 和 HDFS 联合的 Hadoop Namenode HA 有点困惑。两者都使用多个名称节点并且都提供高可用性。我无法决定将哪种架构用于 Namenode 高可用性,因为除了 QJM 之外,两者看起来完全相同。
如果这不是这里要讨论的问题类型,请原谅。
HDFS High Availability 和 HDFS Federation 之间的主要区别在于,Federation 中的名称节点彼此不相关。
在 HDFS 联邦中,所有名称节点共享一个元数据池,其中每个名称节点都有自己的池,因此提供容错能力,即如果联合中的一个名称节点发生故障,它不会影响其他名称节点的数据。
因此,Federation = 多个名称节点且没有关联。
而在 HDFS HA 的情况下,有两个名称节点 - 主 NN 和备用 NN。 Primary NN 一直在努力工作,每次 Standby NN 只是坐在那里,不时地冷却和更新它与 Primary Namenode 相关的元数据,这使它们相关联。 当主要 NN 厌倦了这种常见的 sheet(即失败)时,备用 NameNode 将接管它拥有的任何最新元数据。
至于 HA 架构,您需要至少将两台单独的机器配置为 Namenode,其中只有一台应该 运行 处于活动状态。
此处有更多详细信息:HDFS High Availability