如何将 RStudio Cloud 连接到 Spark？

Question

我正在使用 RStudio Cloud，我想使用 sparklyr 包连接到 Spark。我尝试了本地大师和 yarn 大师。代码如下

library(sparklyr)
library(dplyr)
sc <- spark_connect(master = "local")
sc <- spark_connect(master = "yarn")
# Error in system2(file.path(spark_home, "bin", "spark-submit"), "--version", : error in running command

都没用。我不知道如何进一步设置 Spark 环境。任何帮助将不胜感激。

Answer 1

这可能是 Spark 版本的问题。

这对我来说很好，在 RStudio Cloud 上的一个新项目上：

install.packages("sparklyr")
library(sparklyr)
spark_install(version = "3.0.0")
sc <- spark_connect(master = "local")

如何将 RStudio Cloud 连接到 Spark？

How to connect RStudio Cloud to Spark?

r

apache-spark

sparklyr