二级名称节点功能
secondary name node functionality
谁能解释一下从教科书上摘下来的粗体字到底是什么意思? "state of the secondary namenode lags that of the primary " 是什么意思?
二级名称节点保留合并后的名称空间映像的副本,可在名称节点出现故障时使用。 **然而,国家
次要名称节点滞后于主要名称节点,因此如果主要名称节点完全失败,数据丢失几乎是肯定的。**在这种情况下,通常的做法是将名称节点在 NFS 上的元数据文件复制到二级和 运行 它作为新的主要。
提前致谢
Hadoop 1.x:
当我们启动 ha hadoop 集群时,它会创建一个文件系统映像,用于保存整个 hadopp 集群的元数据信息。当一个新条目进入 hadoop 集群时,它会进入编辑日志。 Secondary NameNode 定期读取和查询编辑并检索信息并将信息与 fsimage 合并。如果NameNode发生故障,hadoop管理员可以借助fsimage和edits启动hadoop集群。(在启动期间NameNode会读取edits和fsimage,所以不会有数据丢失)
fsimage 和 edits log 已经以元数据的形式保存了关于文件系统的更新信息,因此如果主 hadoop 管理员完全失败,可以在 edits log 和 fsimage 的帮助下恢复集群信息。
Hadoop 2.x:
在 hadoop 中 1.x NameNode 是单点故障。 NameNode 的故障是整个 hadoop 集群的停机时间。 NameNode 机器上的计划维护事件(例如软件或硬件升级)会导致集群 downtime.To 克服此问题 hadoop 社区添加了高可用性功能。在设置hadoop集群的过程中,您可以选择您想要的集群类型。
HDFS NameNode 高可用性功能使您能够在 Active/Passive 配置的同一集群中 运行 冗余 NameNode,热 standby.Both NameNode 需要相同类型的硬件配置。
在 HA 配置中,一个 NameNode 将处于活动状态,另一个将处于备用状态 state.The ZKFailoverController (ZKFC) 是一个监控和管理 NameNode 状态的 ZooKeeper 客户端。当活动NameNode宕机时,它使备用NameNode成为活动NameNode,而主NameNode将在您启动它们时变为备用。请在这个网站上获得更多信息:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.8.0/bk_system-admin-guide/content/ch_hadoop-ha-5.html
在 HA hadoop 集群中,Active NameNode 在 JournalNode 中读取和写入元数据信息(仅限基于 Quorum 的存储)。 JournalNode 是 HA hadoop 集群中的一个单独节点,用于读写编辑日志和 fsimage。
备用NameNode始终与活动NameNode同步,两者通过日志节点相互通信。当主动节点执行任何名称空间修改时,它会持久地记录对这些 JN 中的大多数的修改记录。 Standby NameNode 持续监控日志节点的编辑日志并更新其命名空间 accordingly.In 发生故障转移时,备用 NameNode 将确保其命名空间在更改为活动状态之前根据编辑日志完全更新。当备用处于活动状态时,它将开始将编辑日志写入 JournalNode。
Hadoop 不会将任何数据保存到 NameNode 中,所有数据都驻留在数据节点中,如果 NameNode 发生故障,也不会丢失任何数据。
谁能解释一下从教科书上摘下来的粗体字到底是什么意思? "state of the secondary namenode lags that of the primary " 是什么意思?
二级名称节点保留合并后的名称空间映像的副本,可在名称节点出现故障时使用。 **然而,国家 次要名称节点滞后于主要名称节点,因此如果主要名称节点完全失败,数据丢失几乎是肯定的。**在这种情况下,通常的做法是将名称节点在 NFS 上的元数据文件复制到二级和 运行 它作为新的主要。
提前致谢
Hadoop 1.x:
当我们启动 ha hadoop 集群时,它会创建一个文件系统映像,用于保存整个 hadopp 集群的元数据信息。当一个新条目进入 hadoop 集群时,它会进入编辑日志。 Secondary NameNode 定期读取和查询编辑并检索信息并将信息与 fsimage 合并。如果NameNode发生故障,hadoop管理员可以借助fsimage和edits启动hadoop集群。(在启动期间NameNode会读取edits和fsimage,所以不会有数据丢失)
fsimage 和 edits log 已经以元数据的形式保存了关于文件系统的更新信息,因此如果主 hadoop 管理员完全失败,可以在 edits log 和 fsimage 的帮助下恢复集群信息。
Hadoop 2.x:
在 hadoop 中 1.x NameNode 是单点故障。 NameNode 的故障是整个 hadoop 集群的停机时间。 NameNode 机器上的计划维护事件(例如软件或硬件升级)会导致集群 downtime.To 克服此问题 hadoop 社区添加了高可用性功能。在设置hadoop集群的过程中,您可以选择您想要的集群类型。
HDFS NameNode 高可用性功能使您能够在 Active/Passive 配置的同一集群中 运行 冗余 NameNode,热 standby.Both NameNode 需要相同类型的硬件配置。
在 HA 配置中,一个 NameNode 将处于活动状态,另一个将处于备用状态 state.The ZKFailoverController (ZKFC) 是一个监控和管理 NameNode 状态的 ZooKeeper 客户端。当活动NameNode宕机时,它使备用NameNode成为活动NameNode,而主NameNode将在您启动它们时变为备用。请在这个网站上获得更多信息:http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.0.8.0/bk_system-admin-guide/content/ch_hadoop-ha-5.html
在 HA hadoop 集群中,Active NameNode 在 JournalNode 中读取和写入元数据信息(仅限基于 Quorum 的存储)。 JournalNode 是 HA hadoop 集群中的一个单独节点,用于读写编辑日志和 fsimage。
备用NameNode始终与活动NameNode同步,两者通过日志节点相互通信。当主动节点执行任何名称空间修改时,它会持久地记录对这些 JN 中的大多数的修改记录。 Standby NameNode 持续监控日志节点的编辑日志并更新其命名空间 accordingly.In 发生故障转移时,备用 NameNode 将确保其命名空间在更改为活动状态之前根据编辑日志完全更新。当备用处于活动状态时,它将开始将编辑日志写入 JournalNode。
Hadoop 不会将任何数据保存到 NameNode 中,所有数据都驻留在数据节点中,如果 NameNode 发生故障,也不会丢失任何数据。