如何理解hadoopmapred.min.split.size和minSplitSize？
How to understand hadoop mapred.min.split.size and minSplitSize?
在hadoop mapreduce中，在map阶段设置map个数时，需要设置mapred.min.split.size，但是看官方文档，还有一个参数是“minSplitSize”。两者有什么区别？
首先，“mapred.min.split.size”已被弃用，取而代之的是“mapreduce.input.fileinputformat.split.minsize”
“
根据 hadoop docs.
然而，“mapred.min.split.size”用于在 xml 配置文件中配置您的 hadoop 集群，而“minSplitSize”用于 FileInputFormat class 的 setMinSplitSize 方法直接在您的作业配置程序中设置值并特定于一个作业。
祝你好运
在hadoop mapreduce中，在map阶段设置map个数时，需要设置mapred.min.split.size，但是看官方文档，还有一个参数是“minSplitSize”。两者有什么区别？
首先，“mapred.min.split.size”已被弃用，取而代之的是“mapreduce.input.fileinputformat.split.minsize” “ 根据 hadoop docs.
然而，“mapred.min.split.size”用于在 xml 配置文件中配置您的 hadoop 集群，而“minSplitSize”用于 FileInputFormat class 的 setMinSplitSize 方法直接在您的作业配置程序中设置值并特定于一个作业。
祝你好运