SparkClr：Sparkcontext 给出错误

Question

无法建立连接，因为目标机器主动拒绝 127.0.0.1:some port number

这是我刚刚在 Programe.cs 的控制台应用程序中编写的代码是

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using Microsoft.Spark.CSharp.Core;

namespace DemoSpark
{
class Program
{
    static void Main(string[] args)
    {
        var Sparkcontext = new SparkContext(new SparkConf().SetAppName("Demo"));
        Sparkcontext.Stop();
        Console.WriteLine("Done");
    }
}
}

屏幕截图中有异常 1]: https://i.stack.imgur.com/FWKQo.png

Answer 1

您不能直接运行可执行文件 Programe.cs。相反，它应该提交给您的 spark 集群。首先，您必须将环境设置为指向 Mobius 源或发布目录：

set SPARKCLR_EXT_JARS=C:\Code\Mobius\build\localmode\..\runtime\dependencies\spark-csv_2.10-1.4.0.jar,C:\Code\Mobius\build\localmode\..\runtime\dependencies\commons-csv-1.4.jar
set SPARKCLR_HOME=C:\Code\Mobius\build\localmode\..\runtime
set SPARK_HOME=C:\Code\Mobius\build\localmode\..\tools\spark-2.0.2-bin-hadoop2.6
set "JAVA_HOME=C:\Program Files\Java\jdk1.8.0_66"
set HADOOP_HOME=C:\Code\Mobius\build\localmode\..\tools\winutils

接下来需要将可执行文件提交给spark。这是本地模式下运行ning 样本的示例：

C:\Code\Mobius\build\runtime\scripts\sparkclr-submit.cmd --jars %SPARKCLR_EXT_JARS% --conf spark.sql.warehouse.dir=C:\Tests --exe SparkCLRSamples.exe C:\Code\Mobius\build\runtime\samples --temp C:\Temp --data C:\Data\Mobius

请记住，spark worker 使用 --exe 选项之后的任何内容来调用可执行文件，包括命令行参数。

有关其他群集选项，请参阅 documentation。

SparkClr：Sparkcontext 给出错误

SparkClr: Sparkcontext gives an Error

c#

apache-spark

mobius