关于块大小的查询
Query regarding the block size
关于 HDFS,我从他们网站的数据复制部分(link 下方)读到
http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#Data+Replication
'all blocks in a file except the last block are the same size'
你能告诉我最后一个块大小不同的原因是什么吗?
总内存分配可能在这里起作用吗?
但是,如果内存大小不是问题,最后一个块的大小是否仍会与文件的其余块大小不同?
如果是,请您详细说明一下吗?
任何 link 到 JIRA 的开发工作都将不胜感激。
其实这根本不是问题。事实上,不确定文件的最后一个块是否可以具有相同的大小。
考虑一个大小为 1000 MB 的文件,块为 128MB,然后文件将被分成 8 个块,其中前 7 个块的大小为 128MB。
7 个块的总大小为 896MB (7*128MB),因此剩余大小为 104MB (1000-896)。所以最后一个块的实际大小为 104 MB,其中其他 7 个块为 128 MB。
namenode 将为存储在 HDFS 上的文件的每个块分配数据块。对于大小小于数据块大小的块,它不会做任何考虑。
HDFS 旨在将数据块存储在大小相等的数据块中,以便名称节点可以轻松计算和维护数据节点上可用的数据块。
关于 HDFS,我从他们网站的数据复制部分(link 下方)读到
http://hadoop.apache.org/docs/r1.2.1/hdfs_design.html#Data+Replication
'all blocks in a file except the last block are the same size'
你能告诉我最后一个块大小不同的原因是什么吗?
总内存分配可能在这里起作用吗?
但是,如果内存大小不是问题,最后一个块的大小是否仍会与文件的其余块大小不同?
如果是,请您详细说明一下吗?
任何 link 到 JIRA 的开发工作都将不胜感激。
其实这根本不是问题。事实上,不确定文件的最后一个块是否可以具有相同的大小。
考虑一个大小为 1000 MB 的文件,块为 128MB,然后文件将被分成 8 个块,其中前 7 个块的大小为 128MB。
7 个块的总大小为 896MB (7*128MB),因此剩余大小为 104MB (1000-896)。所以最后一个块的实际大小为 104 MB,其中其他 7 个块为 128 MB。
namenode 将为存储在 HDFS 上的文件的每个块分配数据块。对于大小小于数据块大小的块,它不会做任何考虑。
HDFS 旨在将数据块存储在大小相等的数据块中,以便名称节点可以轻松计算和维护数据节点上可用的数据块。