使用自定义 spark 版本启动 Oozie 作业
Launch Oozie job with custom spark version
我正在尝试 运行 通过 oozie 在我的 HDP 2.6.1 集群上执行 Spark 作业。最初安装的 Spark 版本是 1.6.1 和 2.1.1。我通过 sharelibupdate 添加了 2.3.0 预构建包（Hadoop 2.7 及更高版本）版本（通过创建一个目录，我在其中复制了所有 spark 2.3.0 jar + Oozie jar）但是我面临这个错误：..././assembly/target/scala-2.11/jars' does not exist; make sure Spark is built.
我在 Spark 集群模式下 运行ing spark。
有人遇到过这个问题吗？甚至可以添加这样的 spark 版本吗？
我找到了解决办法。它与 this Oozie 已知问题有关。我只需要添加一个 spark 属性 spark.yarn.jars 和 spark 2.3.0 jars
的路径
我正在尝试 运行 通过 oozie 在我的 HDP 2.6.1 集群上执行 Spark 作业。最初安装的 Spark 版本是 1.6.1 和 2.1.1。我通过 sharelibupdate 添加了 2.3.0 预构建包（Hadoop 2.7 及更高版本）版本（通过创建一个目录，我在其中复制了所有 spark 2.3.0 jar + Oozie jar）但是我面临这个错误：..././assembly/target/scala-2.11/jars' does not exist; make sure Spark is built.
我在 Spark 集群模式下 运行ing spark。
有人遇到过这个问题吗？甚至可以添加这样的 spark 版本吗？
我找到了解决办法。它与 this Oozie 已知问题有关。我只需要添加一个 spark 属性 spark.yarn.jars 和 spark 2.3.0 jars