是否可以将 hadoop 块大小设置为 24 MB？
Is possible to set hadoop blocksize 24 MB?
我只是想问问您对 HDFS 块大小的看法。所以我将 HDFS 块大小设置为 24 MB，它通常可以 运行。我记得 24 MB 不是计算机上通常大小的指数数（2 的倍数）。所以我想问问大家，你们对24MB有什么看法？
谢谢大家....
是的。可以将 HDFS 块大小设置为 24 MB。 Hadoop 1.x.x 默认为 64 MB，2.x.x 默认为 128 MB。
我认为增加块大小。因为，块大小越大，reducer 阶段使用的时间就越少。事情会加快。
但是，如果减小块大小，每个映射阶段将花费更少的时间，但有可能在 reduce 阶段使用更多时间。从而增加整体时间。
从本地文件系统传输到HDFS时，您可以使用以下命令更改块大小：
hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>
可以通过将 hdfs-site.xml 更改为以下来永久更改块大小：
<property>
<name>dfs.block.size<name>
<value>134217728<value>
<description>Block size<description>
<property>
是的，可以在 Hadoop 环境中设置块大小。只需转到 /usr/local/hadoop/conf/hdfs-site.xml
然后更改块大小值
参考：http://commandstech.com/blocksize-in-hadoop/
我只是想问问您对 HDFS 块大小的看法。所以我将 HDFS 块大小设置为 24 MB，它通常可以 运行。我记得 24 MB 不是计算机上通常大小的指数数（2 的倍数）。所以我想问问大家，你们对24MB有什么看法？
谢谢大家....
是的。可以将 HDFS 块大小设置为 24 MB。 Hadoop 1.x.x 默认为 64 MB，2.x.x 默认为 128 MB。
我认为增加块大小。因为，块大小越大，reducer 阶段使用的时间就越少。事情会加快。 但是，如果减小块大小，每个映射阶段将花费更少的时间，但有可能在 reduce 阶段使用更多时间。从而增加整体时间。
从本地文件系统传输到HDFS时，您可以使用以下命令更改块大小：
hadoop fs -D dfs.blocksize=<blocksize> -put <source_filename> <destination>
可以通过将 hdfs-site.xml 更改为以下来永久更改块大小：
<property>
<name>dfs.block.size<name>
<value>134217728<value>
<description>Block size<description>
<property>
是的，可以在 Hadoop 环境中设置块大小。只需转到 /usr/local/hadoop/conf/hdfs-site.xml 然后更改块大小值 参考：http://commandstech.com/blocksize-in-hadoop/