如何在 Cloud Formation 模板中将 mapreduce.reduce.memory.mb 属性 添加到 EMR 集群?
How to add mapreduce.reduce.memory.mb property to EMR Cluster in Cloud Formation template?
我一直在研究如何根据机器类型修改 EMR 为集群提供的默认值。
在我的例子中,这是一个非常基本的设置,m4.large
作为 master,c3.2xlarge
作为核心,任务也是如此。 EMR 在 Task 中为这个 属性 设置的值是 2880
(来自 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html)。但是,我需要增加这个默认值。
我一直在尝试更改我的 Cloud Formation 模板中的默认配置,但出于某种原因它不接受它。这是我要添加到 CF 模板中的内容,我似乎无法在网上找到任何此类示例:
"Configurations" : [{
"Classification": "mapred-site",
"Properties": {
"mapreduce.reduce.memory.mb": "4096"
}}]
如有任何帮助,我们将不胜感激!
我遇到了类似的问题,我的解决方案是将键名从 Properties
更改为 ConfigurationProperties
因为 CF 中的语法似乎与您使用的有点不同在 EMR 的配置部分中。
试试这个:
"Configurations": [
{
"Classification": "mapred-site",
"ConfigurationProperties": {
"mapreduce.reduce.memory.mb": "4096"
},
"Configurations": []
}
]
我一直在研究如何根据机器类型修改 EMR 为集群提供的默认值。
在我的例子中,这是一个非常基本的设置,m4.large
作为 master,c3.2xlarge
作为核心,任务也是如此。 EMR 在 Task 中为这个 属性 设置的值是 2880
(来自 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/TaskConfiguration_H2.html)。但是,我需要增加这个默认值。
我一直在尝试更改我的 Cloud Formation 模板中的默认配置,但出于某种原因它不接受它。这是我要添加到 CF 模板中的内容,我似乎无法在网上找到任何此类示例:
"Configurations" : [{
"Classification": "mapred-site",
"Properties": {
"mapreduce.reduce.memory.mb": "4096"
}}]
如有任何帮助,我们将不胜感激!
我遇到了类似的问题,我的解决方案是将键名从 Properties
更改为 ConfigurationProperties
因为 CF 中的语法似乎与您使用的有点不同在 EMR 的配置部分中。
试试这个:
"Configurations": [
{
"Classification": "mapred-site",
"ConfigurationProperties": {
"mapreduce.reduce.memory.mb": "4096"
},
"Configurations": []
}
]