Spark Launcher 无法触发 spark Job？

Question

我正在运行建立一个 spark 独立集群，其中有 3 个节点。一个是主人，另外两个是工人。我在所有三个位置 /home/bizruntime/***.jar 的所有三个节点中复制了作业，当我在 master 中使用 spark-submit 提交作业时，作业是运行宁。

但是我的集群在远程位置，我无法每次都访问主节点终端。所以我想使用 Spark Launcher 从我的 Windows 机器的笔记本电脑中触发作业。但是，当我运行我的笔记本电脑 Eclipse 中的 spark 启动器程序启动时，它会启动一个驱动程序，我可以在 Spark UI 中看到它，但随后会出错。当我检查日志中的错误时，因为在节点中找不到 jar。

我在 appResource() 函数 Spark 启动器中给出的路径是 /home/bizruntime/***.jar 这个。但是他们正在 $Eclipse_Worksapce/home/bizruntime/***.jar

中搜索 jar

我的问题是如何在没有 $Eclipse_Worksapce.

的情况下给出绝对路径

package com.biz.Remote_Start;

import java.io.IOException;

import org.apache.spark.launcher.SparkAppHandle;
import org.apache.spark.launcher.SparkLauncher;

/**
 * Hello world!
 *
 */
public class App {
  public static void main(String[] args) {

    try {
      Process handle = new SparkLauncher()
          .setAppResource("home/bizruntime/Read_from_ADL-0.0.1-SNAPSHOT.jar")
          .setMainClass("com.biz.Read_from_ADL.App")
          .setMaster("spark://192.168.1.154:7077")
          .setDeployMode("cluster")
          .launch();

      handle.waitFor();
    } catch (Exception e) {

      System.out.println(e.getMessage());
    }

  }
}

Answer 1

如果本地文件系统中存在 jar 文件，请指定位置，如 file:///home/bizruntime/Read_from_ADL-0.0.1-SNAPSHOT.jar

Spark Launcher 无法触发 spark Job？

Spark Launcher is not able to trigger spark Job?

apache-spark

apache-spark-sql

spark-launcher