ActorNotFound Exception 试图在 windows 7 上运行 Spark 1.3.1

Question

我们在试图理解为什么 Spark 1.3.1 不适用于我的一位同事在他的 Windows 7 笔记本电脑上工作时遇到了障碍。我有几乎相同的设置，对我来说一切正常。

我搜索了错误消息，但仍未找到解决方法。

这是异常消息（在运行为 Hadoop 2.4 预构建的 spark 1.3.1 vanilla 安装之后）

akka.actor.ActorInitializationException: exception during creation
        at akka.actor.ActorInitializationException$.apply(Actor.scala:164)
        at akka.actor.ActorCell.create(ActorCell.scala:596)
        at akka.actor.ActorCell.invokeAll(ActorCell.scala:456)
        at akka.actor.ActorCell.systemInvoke(ActorCell.scala:478)
        at akka.dispatch.Mailbox.processAllSystemMessages(Mailbox.scala:263)
        at akka.dispatch.Mailbox.run(Mailbox.scala:219)
        at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(AbstractDispatcher.scala:393)
        at scala.concurrent.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
        at scala.concurrent.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
        at scala.concurrent.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
        at scala.concurrent.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: akka.actor.ActorNotFound: Actor not found for: ActorSelection[Anchor(akka://sparkDriver/deadLetters), Path(/)
]
        at akka.actor.ActorSelection$$anonfun$resolveOne.apply(ActorSelection.scala:65)
        at akka.actor.ActorSelection$$anonfun$resolveOne.apply(ActorSelection.scala:63)
        at scala.concurrent.impl.CallbackRunnable.run(Promise.scala:32)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run.processBatch(BatchingExecutor.scala:67)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run.apply$mcV$sp(BatchingExecutor.scala:82)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run.apply(BatchingExecutor.scala:59)
        at akka.dispatch.BatchingExecutor$Batch$$anonfun$run.apply(BatchingExecutor.scala:59)
        at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72)
        at akka.dispatch.BatchingExecutor$Batch.run(BatchingExecutor.scala:58)
        at akka.dispatch.ExecutionContexts$sameThreadExecutionContext$.unbatchedExecute(Future.scala:74)
        at akka.dispatch.BatchingExecutor$class.execute(BatchingExecutor.scala:110)
        at akka.dispatch.ExecutionContexts$sameThreadExecutionContext$.execute(Future.scala:73)
        at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:40)
        at scala.concurrent.impl.Promise$DefaultPromise.scala$concurrent$impl$Promise$DefaultPromise$$dispatchOrAddCallb
ack(Promise.scala:280)
        at scala.concurrent.impl.Promise$DefaultPromise.onComplete(Promise.scala:270)
        at akka.actor.ActorSelection.resolveOne(ActorSelection.scala:63)
        at akka.actor.ActorSelection.resolveOne(ActorSelection.scala:80)
        at org.apache.spark.util.AkkaUtils$.makeDriverRef(AkkaUtils.scala:221)
        at org.apache.spark.executor.Executor.startDriverHeartbeater(Executor.scala:393)
        at org.apache.spark.executor.Executor.<init>(Executor.scala:119)
        at org.apache.spark.scheduler.local.LocalActor.<init>(LocalBackend.scala:58)
        at org.apache.spark.scheduler.local.LocalBackend$$anonfun$start.apply(LocalBackend.scala:107)
        at org.apache.spark.scheduler.local.LocalBackend$$anonfun$start.apply(LocalBackend.scala:107)
        at akka.actor.TypedCreatorFunctionConsumer.produce(Props.scala:343)
        at akka.actor.Props.newActor(Props.scala:252)
        at akka.actor.ActorCell.newActor(ActorCell.scala:552)
        at akka.actor.ActorCell.create(ActorCell.scala:578)
        ... 9 more

相关问题：

在线搜索此问题并没有得到很多结果，这似乎表明这是一个非常罕见且特定的问题：

我看到了这个错误，但是对于 Linux，而不是 windows：http://apache-spark-user-list.1001560.n3.nabble.com/Actor-not-found-td22265.html
这个似乎也没有提供任何解决方案：https://groups.google.com/a/lists.datastax.com/forum/#!topic/spark-connector-user/UqCYeUpgGCU

我的假设是这与某些解决/IP 冲突等有关，但我不确定。

更多详情

JDK 1.7 64 位，Windows 7 64 位，为 Hadoop 2.4 预构建的 Spark 1.3.1
我们排除了所有与防火墙相关的问题，我们查看了所有被阻止的流量，但不存在
我们尝试了 "run as an administrator" 但没有成功。
Spark提交和sparkshell我们都试过了，最直接的Spark"Hellow World"都不行。
我们确实在 localhost:4040 得到了 UI，该作业被标记为已开始，但一直在等待（例如，即使 sc.parallelize(List(1,2,3)).count() 也从未完成
在日志中没有发现其他错误
我确实注意到我的系统和我朋友的系统之间的一个区别：当我执行 ping localhost 时，我得到 127.0.0.1，当他这样做时他得到 ::1 不确定它是否相关，但我看到了一个问题关于 spark 在 ipv6 上有问题，并且看到它只在 1.4 中得到解决，这是否相关？ https://issues.apache.org/jira/browse/SPARK-6440

我确定这是一个与网络/安全/权限相关的问题，但我们似乎无法查明它

有什么下一步要看的想法吗？

Answer 1

升级到 Spark 1.4.0 似乎已经解决了这个问题。

可能与https://issues.apache.org/jira/browse/SPARK-6440有关，但不能确定。

ActorNotFound Exception 试图在 windows 7 上 运行 Spark 1.3.1

ActorNotFound Exception trying to run Spark 1.3.1 on windows 7

akka

apache-spark

ActorNotFound Exception 试图在 windows 7 上运行 Spark 1.3.1