在名称节点高可用性未配置设置中检查点

Checkpointing in a Name Node High Availability un-configured setup

在未配置名称节点高可用性的设置中,辅助名称节点如何处理检查点操作。

如果没有配置高可用性,那么默认情况下辅助名称节点就在那里,就像在 Hadoop 1 中一样。

如果您不了解辅助名称节点和检查点的 Hadoop 1 概念,那么我可以给您一个简短的描述,但您可能需要参考 Apache Docs

Checkpointing 概念说:

几秒钟后将生成一个编辑日志,其中包含在 HDFS 中所做的所有更改(如:文件权限、文件名、ACL 权限、复制因子等),但这些更改暂时存储在编辑日志中,并将检查点完成后永久合并到 fsimage 中。

仅供参考(Chechkpointing 每 60 分钟完成一次)。

Namenode 生成的编辑日志和 fsimage 将存储在 LFS(本地文件系统)中,并且该 fsimage 的副本将发送到辅助 Namenode。现在,为什么它被称为备份节点?因为万一 Namenode 宕机或丢失它的元数据信息,那么它可以联系 SNN(Secondary NN)获取最后保存的 fsimage 并可以恢复元数据信息。

这是 NN 和 Secondary NN 背后的基本思想