无法使用 Oozie 部署 Spark 作业

Question

我需要 24/7 全天候工作运行，为此我正在使用 Oozie。为此，我编写了 workflow.xml 和 job.properties 文件，其中包含调用它所需的信息。

然而，当我尝试使用此发送 oozie 作业时：

oozie job –config /home/oozie/tst/job.properties -run

我收到以下错误消息，非常清楚：

java.io.IOException: configuration is not specified
        at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816)
        at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055)
        at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686)
        at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639)
        at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225)
configuration is not specified

这里的问题是配置文件（job.properties）在本地存在于指定的路径上。我还在 HDFS 中 PUT 包含文件和 .jar 的目录。

知道为什么会失败吗？

Oozie 是完成这项任务的最佳工具吗？

Answer 1

在命令中指定主机

oozie job --oozie http://your_host:11000/oozie -config /home/oozie/tst/job.properties -run

11000 是默认端口

Answer 2

配置参数采用本地路径而非HDFS。检查 job.properties 出现在 /home/oozie/tst/job.properties

中

检查job.properties包含oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT

此外，我看到配置参数中的破折号 (-) 与运行参数中的破折号 (-) 不同

无法使用 Oozie 部署 Spark 作业

Unable to deploy Spark jobs using Oozie

hadoop

apache-spark

oozie