如果hadoop数据节点文件夹个数不同,会不会出现block replication问题?

If the number of hadoop data node folders is different, can block replication problems occur?

假设你的集群有20个节点,15个节点有10个子文件夹, 像 /data01, ... /data10 和其他 5 个节点有 6 个子文件夹。数据节点文件夹数量不均衡
这样的话,是不是块复制出问题的可能性比较大? (例如 ReplicationNotFoundException、BlockMissingException)

如果是这样,在这种情况下除了添加磁盘外还能做什么? 谢谢。

块复制在复制数据时考虑 rack awareness 并根据复制因子集进行复制(在整个 HDFS 级别或每个文件级别等)

如果没有经过适当的程序(数据上传到HDFS后)移除磁盘,可能会出现块丢失异常,但复制会自动完成。