如何在新 Hadoop 中更改 FileSplit 大小 api

Question

与新的 Hadoop api 一样，无法显式设置映射器的数量，我想将 SplitSize 更改为比默认值更小的数字，以便执行更多的映射器。我如何在新的 Hadoop api 中做到这一点？

我尝试了以下方法，但它不起作用

 conf.setLong(FileInputFormat.Split_MAXSIZE, 16 * 1024 * 1024)

Answer 1

是mapreduce.input.fileinputformat.split.minsize。如果它不起作用，请分享您的代码，我会看看它。

Answer 2

您必须根据需要更改以下参数。

mapreduce.input.fileinputformat.split.minsize

和

mapreduce.input.fileinputformat.split.maxsize

查看此link了解更多详情。