失败运行 sparkclr-submit.cmd

Question

我正在尝试运行在我的 windows 环境中使用 VS2012 作为本地调试模式的简单 spark clr 程序。

请找到我执行的以下步骤，

从以下页面下载v1.6.100并解压到我的D盘 https://github.com/Microsoft/Mobius/releases

在我的D盘里，文件夹是这样的， D:\SparkClr\spark-clr_2.10-1.6.100

设置以下环境变量，
SPARK_HOME = D:\SparkClr\spark-clr_2.10-1.6.100\runtime
SPARKCLR_HOME = D:\SparkClr\spark-clr_2.10-1.6.100\runtime
JAVA_HOME = C:\Program Files\Java\jdk1.8.0_92
HADOOP_HOME = D:\HadoopDirectory（winutils.exe存在于D:\HadoopDirectory\bin）
已下载 sparkclr nuget 包

为了在我的本地 VS 程序中在 app.config 中设置 "CSharpBackendPortNumber"，我需要按照 https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#debug-mode

在调试模式下运行

但是当我从 D:\SparkClr\spark-clr_2.10-1.6.100\runtime\scripts

运行 'sparkclr-submit.cmd debug'

我收到以下异常，

D:\SparkClr\spark-clr_2.10-1.6.100\runtime\scripts>sparkclr-submit.cmd debug
'"D:\SparkClr\spark-clr_2.10-1.6.100\runtime\bin\load-spark-env.cmd"' is not rec
ognized as an internal or external command,
operable program or batch file.
SPARKCLR_JAR=spark-clr_2.10-1.6.100.jar
Exception in thread "main" java.lang.NoClassDefFoundError: scala/collection/Seq
        at org.apache.spark.deploy.csharp.CSharpRunner.main(CSharpRunner.scala)
Caused by: java.lang.ClassNotFoundException: scala.collection.Seq
        at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
        ... 1 more

你能告诉我是否遗漏了什么吗？

谢谢

Answer 1

SPARK_HOME 环境变量应该指向 Spark 目录。你让它指向 Mobius 目录。

失败运行 sparkclr-submit.cmd

failure running sparkclr-submit.cmd

apache-spark

mobius

失败 运行 sparkclr-submit.cmd

failure running sparkclr-submit.cmd

apache-spark

mobius

失败运行 sparkclr-submit.cmd