hdfs fsck 显示错误的复制因子
hdfs fsck displays wrong replication factor
我刚开始使用 Hadoop 并且一直在玩弄它。
我用谷歌搜索了一下,发现我必须更改 hdfs-site.xml 中的属性
更改默认复制因子...这就是我所做的,老实说
奇迹般有效。当我添加新文件时,它们将自动与
新的复制因子。但是当我做类似的事情时:
hdfs fsck /
然后输出显示默认复制为 1。我可能只是对此迂腐。
但我宁愿把它修好……或者我应该说。我一直依赖于那个输出,因此我花了很长时间才意识到没有错......或者也许有
有什么问题吗?有人可以帮助解释 fsck 输出吗?
..Status: HEALTHY
Total size: 1375000000 B
Total dirs: 1
Total files: 2
Total symlinks: 0
Total blocks (validated): 12 (avg. block size 114583333 B)
Minimally replicated blocks: 12 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 1
Average block replication: 2.0
Corrupt blocks: 0
Missing replicas: 0 (0.0 %)
Number of data-nodes: 4
Number of racks: 1
有时,Hadoop 会在客户端计算机上使用它在 .xml 中的信息来响应查询,有时在各种服务器计算机上也会如此。确保 hdfs-site.xml 文件在数据节点、客户端节点(您 运行 hdfs 来自的位置)和名称节点上具有相同的值。我为配置文件维护一个中央存储库(针对每个节点的细节定制)并在它们发生变化时全局推送它们。
我刚开始使用 Hadoop 并且一直在玩弄它。 我用谷歌搜索了一下,发现我必须更改 hdfs-site.xml 中的属性 更改默认复制因子...这就是我所做的,老实说 奇迹般有效。当我添加新文件时,它们将自动与 新的复制因子。但是当我做类似的事情时:
hdfs fsck /
然后输出显示默认复制为 1。我可能只是对此迂腐。 但我宁愿把它修好……或者我应该说。我一直依赖于那个输出,因此我花了很长时间才意识到没有错......或者也许有 有什么问题吗?有人可以帮助解释 fsck 输出吗?
..Status: HEALTHY
Total size: 1375000000 B
Total dirs: 1
Total files: 2
Total symlinks: 0
Total blocks (validated): 12 (avg. block size 114583333 B)
Minimally replicated blocks: 12 (100.0 %)
Over-replicated blocks: 0 (0.0 %)
Under-replicated blocks: 0 (0.0 %)
Mis-replicated blocks: 0 (0.0 %)
Default replication factor: 1
Average block replication: 2.0
Corrupt blocks: 0
Missing replicas: 0 (0.0 %)
Number of data-nodes: 4
Number of racks: 1
有时,Hadoop 会在客户端计算机上使用它在 .xml 中的信息来响应查询,有时在各种服务器计算机上也会如此。确保 hdfs-site.xml 文件在数据节点、客户端节点(您 运行 hdfs 来自的位置)和名称节点上具有相同的值。我为配置文件维护一个中央存储库(针对每个节点的细节定制)并在它们发生变化时全局推送它们。