Amazon ElasticMapReduce(EMR) 控制拆分大小/映射器数量

Question

如何更改此配置？ 对于我的应用程序，64/128 的拆分大小对我来说太多了，

我希望拆分大小为 16 MB。

我该怎么做？

Answer 1

您可以通过设置 fs.s3n.block.size 来更改默认块大小。请在您的代码中尝试如下 - jobConf.set("fs.s3n.block.size", value);

请参考以下链接 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html

http://s3.amazonaws.com/awsdocs/ElasticMapReduce/latest/emr-dg.pdf