如何更改 SparklyR 中的默认 Spark_home 和 Java_home? (RMacOS)

How do I change the default Spark_home and Java_home in SparklyR? (R Mac OS)

  1. 我已将 Spark 安装在主目录的一个文件夹中,并将其添加到我的 .bash_profile。从终端,我可以在 source ~/.bash_profile 之后 运行 pysparkspark-shell。但对于 Sparklyr,默认的 spark 位置在用户文件夹内。有没有办法永久更改默认位置或设置路径变量,而无需每次 运行 新的 R 会话时都进行配置?

  2. 当我尝试连接 spark 声明安装位置 spark 时,我收到以下错误消息:

sc <- spark_connect(master = "local", spark_home = "~/server/spark/")

`错误:Java 11 仅支持 Spark 3.0.0+

有没有办法为 sparklyr 也永久配置 java_home?我在文档中没有找到任何关于此的信息。

谢谢!

我正在使用 Mac OS Catalina 10.15.4,RStudio 版本 1.2.5033,Spark 版本 2.4.5

我用两个步骤完成了这个:

  1. 我在终端中通过 运行 /usr/libexec/java_home -v 1.8 获得了合适的 Java 家(这也应该已经在 bash 配置文件中设置,更多详情 here)

  2. 我在我的 .Renviron 文件中添加了一个 JAVA_HOME(和 SPARK_HOME)变量,这样我就不必为每个会话都设置它。我使用 usethis::edit_r_environ() 打开文件并重新启动我的 R 会话以使其生效。 (有关 .Renviron 的更多详细信息通常 here)。