memsql集群上的Spark安装

Spark installation on memsql cluster

我正在尝试使用 MemSQL Ops 在 3 节点 memsql 集群上安装 Spark,但出现以下错误。请建议如何解决此错误。

部署 Spark 失败。 无法获取最新版本的 Spark:没有可用的 SPARK 文件。

谢谢。

您能检查 运行 MemSQL 主代理机器是否可以访问互联网吗?如果不是,您需要在部署之前手动向 MemSQL Ops 提供我们的 Spark 分发。您可以这样做:

On a machine with internet:
wget -O spark.tar.gz http://download.memsql.com/memsql-spark-1.4.1-distribution-1.1.1/memsql-spark-1.4.1-distribution-1.1.1.tar.gz
scp spark.tar.gz <PRIMARY AGENT SSH DETAILS>:/tmp/spark.tar.gz

Then on your primary:
memsql-ops file-add -t spark /tmp/spark.tar.gz
memsql-ops spark-deploy

通过使用 memsql-ops 手动安装 spark 解决了这个问题。