Scala IDE 调用 Spark 但执行器未启动

Question

我有 Scala IDE 问题。下面的代码

val conf = new SparkConf().setAppName("xxx").setMaster("local[*]")

运行在 Scala 中 IDE 工作正常，但是

val conf = new SparkConf().setAppName("xxx").setMaster("spark://ipOfMyPC:7077")

无法工作。错误信息是

WARN TaskSchedulerImpl：初始作业尚未接受任何资源；检查您的集群 UI 以确保工作人员已注册并有足够的内存

我已经检查过 Spark-Shell，Spark-Shell Web UI 使用端口 4040 并且工作正常。这就是我发现Executor没有启动的原因。

Scala IDE service SparkUI 自动使用端口 4041 我发现 Executor 没有启动，只有驱动存在。我已经在下面尝试过这段代码，但没有用

val conf = new SparkConf().setAppName("xxx").set("spark.executor.instances", "2").set("spark.executor.memory", "1g").setMaster("spark://ipOfMyPC:7077")

如何在 Scala 中解决这个问题IDE？

我的平台是 windows 8.1，防火墙被禁用。非常感谢。

Answer 1

转到 spark UI : yourip:8080

找到大师url的link喜欢：spark://xyz:7077

以此为主url。

使用start-all.sh命令启动所有节点。

Answer 2

尽管 Scala IDE 服务 SparkUI 自动使用端口 4041 而不是 4040。停止 Spark-Shell（在端口 4040 上）后，Scala IDE 作业可以运行成功。

Scala IDE 调用 Spark 但执行器未启动

Scala IDE Call Spark But Executor Not Start

scala

apache-spark-sql

scala-ide