如何在 ami 4 中配置应用程序
How to configure applications in ami 4
In Amazon EMR releases 4.0 and greater, the only accepted parameter is
the application name. To pass arguments to applications, you supply a
configuration for each application.
但我找不到说明如何在 ami 4 中传递参数的示例。我只能找到配置导出的示例，如下所示。我正在尝试弄清楚如何设置要使用的 Spark 版本。
[
{
"Classification":"hadoop-env",
"Properties":{
},
"Configurations":[
{
"Classification":"export",
"Properties":{
"HADOOP_USER_CLASSPATH_FIRST":"true",
"HADOOP_CLASSPATH":"/path/to/my.jar"
}
}
]
}
]
您不能像使用 3.x AMI 版本那样设置任意版本的 Spark。相反，Spark（当然还有其他应用程序）的版本由发布标签确定。例如，目前最新版本是emr-5.2.1，其中包括Spark 2.0.2。如果你想要 1.x 版本的 Spark，最新版本是 Spark 1.6.3 on release emr-4.8.3。
In Amazon EMR releases 4.0 and greater, the only accepted parameter is the application name. To pass arguments to applications, you supply a configuration for each application.
但我找不到说明如何在 ami 4 中传递参数的示例。我只能找到配置导出的示例，如下所示。我正在尝试弄清楚如何设置要使用的 Spark 版本。
[
{
"Classification":"hadoop-env",
"Properties":{
},
"Configurations":[
{
"Classification":"export",
"Properties":{
"HADOOP_USER_CLASSPATH_FIRST":"true",
"HADOOP_CLASSPATH":"/path/to/my.jar"
}
}
]
}
]
您不能像使用 3.x AMI 版本那样设置任意版本的 Spark。相反，Spark（当然还有其他应用程序）的版本由发布标签确定。例如，目前最新版本是emr-5.2.1，其中包括Spark 2.0.2。如果你想要 1.x 版本的 Spark，最新版本是 Spark 1.6.3 on release emr-4.8.3。