Datanode之一磁盘卷故障

Question

我的 hadoop 集群数据节点中的一个磁盘已变为只读。我不确定是什么导致了这个问题。 从数据节点中删除该卷会导致数据丢失吗？？ 如果我将面临数据丢失，如何处理？

Answer 1

如果您的 hadoop 集群的复制因子大于 1（对于多节点集群，默认情况下为 3），您的数据必须已复制到多个数据节点上。您可以在 hdfs-site.xml 中检查您的复制因子值 (dfs.replication)。

所以现在如果你从你的集群中删除这个只读数据节点并且你有一个大于 1 的复制因子，那么你将不会面临任何数据丢失。因为你的集群在其他datanode上会有对应的replica。为了平衡副本，复制不足的块将由 hdfs 自动处理，随后 hdfs 将保持稳定。