EMR 上的 Oozie 样本
Oozie sample on EMR
有人可以向我解释一下在 EMR (EMRFS) 上工作时 oozie 操作的名称节点和作业跟踪器是什么吗?我确实知道名称节点特定于 hdfs,但如果我使用的是 EMRFS,那么它在 oozie 中的价值应该是多少。
name-node
应该是运行 HDFS namenode 守护进程的 EMR master 的 namenode FQDN:port 或 IP:port。 job-tracker
是 YARN 资源管理器地址。无论有没有 EMRFS,它们都保持不变,因为 OOZIE 仍然使用 HDFS(不是 S3)。基于 Action ,YARN 容器(mappers/reducers)可能会使用 EMRFS,您无需为其设置任何内容。
您可以查看此端口列表以找到 EMR 所需的端口:
http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-4.2.0/emr-release-differences.html#w2ab1c66c15
您也可以在 fs.default.name
,mapred.job.tracker
core-site.xml / yarn-site.xml / mapred-site.xml 文件的设置中找到它们。
有人可以向我解释一下在 EMR (EMRFS) 上工作时 oozie 操作的名称节点和作业跟踪器是什么吗?我确实知道名称节点特定于 hdfs,但如果我使用的是 EMRFS,那么它在 oozie 中的价值应该是多少。
name-node
应该是运行 HDFS namenode 守护进程的 EMR master 的 namenode FQDN:port 或 IP:port。 job-tracker
是 YARN 资源管理器地址。无论有没有 EMRFS,它们都保持不变,因为 OOZIE 仍然使用 HDFS(不是 S3)。基于 Action ,YARN 容器(mappers/reducers)可能会使用 EMRFS,您无需为其设置任何内容。
您可以查看此端口列表以找到 EMR 所需的端口: http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-4.2.0/emr-release-differences.html#w2ab1c66c15
您也可以在 fs.default.name
,mapred.job.tracker
core-site.xml / yarn-site.xml / mapred-site.xml 文件的设置中找到它们。