开始使用莫比乌斯对抗本地火花

Question

我终于设法在本地获得了 spark 运行ning 并启动它 (?) 使用：

spark-shell

我认为这就像启动一个可以通过 API 使用的服务器程序 - 不确定这是否正确？还是火花大师运行ning呢？结果是这样打印出来的：

Spark context Web UI available at http://123.134.0.4:4040
Spark context available as 'sc' (master = local[*], app id = local-1492347943688
).
Spark session available as 'spark'.

我可以访问网络 ui 但我如何根据本地 spark 将 C# 驱动程序中的 sparkcontext 参数化为运行。最终目的是运行 C# 中的这段 Scala 代码：

scala> val file = sc.textFile("C:\war_and_peace.txt")
scala> val warsCount = file.filter(line => line.contains("war"))
scala> val peaceCount = file.filter(line => line.contains("peace"))
scala> warsCount.count()
res0: Long = 1218
scala> peaceCount.count()
res1: Long = 128

并取回字数以写入控制台。任何指针将不胜感激。谢谢！

PS:

看来我必须创建代码的可执行文件，然后使用：sparkclr-submit.cmd 或 sparkclr-submit.sh 来执行它。这个对吗？如果是这样，这意味着我不能 run/debug Visual studio 中的代码？！

Answer 1

Spark-shell.cmd 不启动本地 Spark 集群。 shell 用于连接到现有的 Spark 集群（YARN、Standalone 或 Mesos）或本地模式的 Spark。请参阅 Spark 文档以提供适当的 'master' 配置（http://spark.apache.org/docs/latest/submitting-applications.html#master-url) when running spark-submit.cmd. You need to provide the same set of parameters to sparkclr-submit.cmd in Mobius. The only additional parameter you need to provide is the exe name. To learn how to implement Word count app in Mobius refer to the example at https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#wordcount-example-batch

如果要在 VS 中调试，请按照 https://github.com/Microsoft/Mobius/blob/master/notes/running-mobius-app.md#debug-mode

处的调试模式说明进行操作

开始使用莫比乌斯对抗本地火花

getting started with mobius against local spark

c#

apache-spark

mobius