在 Window 环境中安装 Mobius 时遇到困难?

Facing difficulties in Installing Mobius in Window environment?

我基本上是一名 .net 程序员,我的任务是使用 SPARK 和 Cassandra 分析数据。我正在寻找一个 C# API 来与 SPARK 一起工作,我发现了 Mobius(因为我不知道 JAVA)。我开始从 GitHub 下载 Mobius 项目,根据 windows 的构建,我按照提到的步骤进行操作,但无法让它工作。我有以下问题。

1) 我在 Ubuntu 机器上有一个 DataStax 企业,我的 Cassandra 和 SPARK 可用(独立)。现在我想从我的 .NET 项目连接到 SPARK,然后在 Cassandra 中处理数据。我可以这样做吗?我想在调试模式下这样做吗?我将使用 SPARK-SQL 工作,因为我对 SQL.

很满意

2) 是否必须在我的 windows 机器上安装 SOLR 和 SPARK 才能让 Mobius 工作?我可以从 Windows SPARK 和 Mobius 连接到 CASSANDRA(Ubuntu 机器)吗?

3) 当我 运行 命令“sparkclr-submit.cmd debug” 获取 CSharpBackendPortNumber[= 的值时22=],我收到一个错误,“load-spark-env.cmd”丢失。在哪里可以找到该文件以及如何获取 CSharpBackendPortNumber 的值?我的 windows 机器是否需要安装 SPARK?

  1. 在Linux中使用Windows客户端连接到基于YARN的Spark集群是Mobius的supported/validated场景。我从未尝试过将 Windows 客户端用于 Mobius 和独立的基于 Linux 的 Spark 集群。我建议使用 Linux 机器作为 Mobius 客户端,首先验证 Mobius 中的基本功能。

  2. Mobius 不需要 Solr。您应该能够使用 Mobius 连接到部署在任何 OS 中的 Cassandra。

  3. load-spark-env.cmd 是 Spark 版本的一部分。在 运行 sparkclr-submit.cmd

  4. 之前需要设置 SPARK_HOME 环境变量