如何使用 hadoop 1.0.3 版更改 EMR 中的块大小和复制因子

Question

我正在尝试将块和复制因子更改为 64MB 和 2。

我正在使用 java SDK 创建 EMR 集群。我添加以下 bootstrap 操作：

    BootstrapActionConfig setBlockSize = bootStrapSetHadoopProperty("Set Block Size",
            "dfs.block.size=67108864");
    bootstrapActions.add(setBlockSize);
   BootstrapActionConfig setReplicationFactor =   bootStrapSetHadoopProperty("Set Replication Factor",
            "dfs.replication=2");
    bootstrapActions.add(setReplicationFactor);

但是当我检查主节点中的 hdfs-site.xml 文件时，dfs.block.size 和 dfs.replication 的值提醒未更改。知道如何做到这一点吗？

Answer 1

我终于能够设置 bootstrap 选项：

Set Replication Factor  s3://elasticmapreduce/bootstrap-actions/configure-hadoop    -h, dfs.replication=2
Set Block Size  s3://elasticmapreduce/bootstrap-actions/configure-hadoop    -h, dfs.block.size=67108864

-s 选项已弃用。这个 URL 讲述了创建 bootstrap 选项时要使用的选项： http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html#PredefinedbootstrapActions_ConfigureHadoop

如何使用 hadoop 1.0.3 版更改 EMR 中的块大小和复制因子

How to change block size an dreplication factor in EMR with hadoop version 1.0.3

hadoop

amazon-web-services

emr