使用oozie安排一个scala文件？

Question

我如何 run/schedule 使用 oozie 使用 spark-shell 命令运行的 .scala 文件？

I 运行这个文件使用 spark-shell -i combined.scala
命令！

我想知道这里是否有一些具体的东西，比如我们如何在 oozie 中安排 pig 作业！

根据 David 的建议，我创建了 xml:

<workflow-app xmlns='uri:oozie:workflow:0.2' name='oozie-java-spark-wf'>
   <start to='java-spark' />

   <action name='java-spark'>
    <spark xmlns="uri:oozie:spark-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <master>yarn-cluster</master>
            <name>Spark Patent Citation</name>
            <class>org.apache.spark.repl.Main</class>
            <jar></jar>
            <arg>-i</arg>
            <arg>${nameNode}/user/hdfs/scala_file/combined.scala</arg>
</spark>


    <ok to="end"/>
    <error to="fail"/>
    </action>

    <kill name="fail">
      <message>Spark Java PatentCitation failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

我收到这样的错误：

错误代码 JA018 错误消息 Main class [org.apache.oozie.action.hadoop.SparkMain], main() throw exception, null

我哪里错了？

Answer 1

Oozie 有一个 Spark 操作：

Oozie Spark Action

spark-shell 只是 org.apache.spark.repl.Main 的包装器——只需将其指定为 SPARK MAIN CLASS 并将 -i 和 combined.scala 作为 <arg/> 值。

使用oozie安排一个scala文件？

Schedule a scala file using oozie?

scala

apache-spark

apache-spark-sql

oozie