为什么HDFS上的文件块大于128M

Question

我听说HDFS由分成几个块的文件组成，大小为128M。

由于复制因子是3，所以我认为每个文件的大小应该不超过128M * 3 = 384M。

但是，当NN网站显示Hive生成的文件将近3GB。 impala 生成的某些文件可能超过 30GB。

任何人都可以帮助我理解这一点...提前感谢您的帮助。

Answer 1

你真的不必担心块和它们的存储位置，除非你真的在优化东西； Hadoop 为您管理所有这些东西。您突出显示的 size 列是所有块的总大小，不包括复制。