如何更改 SparklyR 中的默认 Spark_home 和 Java_home? (RMacOS)
How do I change the default Spark_home and Java_home in SparklyR? (R Mac OS)
我已将 Spark 安装在主目录的一个文件夹中,并将其添加到我的 .bash_profile。从终端,我可以在 source ~/.bash_profile
之后 运行 pyspark
或 spark-shell
。但对于 Sparklyr,默认的 spark 位置在用户文件夹内。有没有办法永久更改默认位置或设置路径变量,而无需每次 运行 新的 R 会话时都进行配置?
当我尝试连接 spark 声明安装位置 spark 时,我收到以下错误消息:
sc <- spark_connect(master = "local", spark_home = "~/server/spark/")
`错误:Java 11 仅支持 Spark 3.0.0+
有没有办法为 sparklyr 也永久配置 java_home?我在文档中没有找到任何关于此的信息。
谢谢!
我正在使用 Mac OS Catalina 10.15.4,RStudio 版本 1.2.5033,Spark 版本 2.4.5
我用两个步骤完成了这个:
我在终端中通过 运行 /usr/libexec/java_home -v 1.8
获得了合适的 Java 家(这也应该已经在 bash 配置文件中设置,更多详情 here)
我在我的 .Renviron 文件中添加了一个 JAVA_HOME(和 SPARK_HOME)变量,这样我就不必为每个会话都设置它。我使用 usethis::edit_r_environ()
打开文件并重新启动我的 R 会话以使其生效。 (有关 .Renviron 的更多详细信息通常 here)。
我已将 Spark 安装在主目录的一个文件夹中,并将其添加到我的 .bash_profile。从终端,我可以在
source ~/.bash_profile
之后 运行pyspark
或spark-shell
。但对于 Sparklyr,默认的 spark 位置在用户文件夹内。有没有办法永久更改默认位置或设置路径变量,而无需每次 运行 新的 R 会话时都进行配置?当我尝试连接 spark 声明安装位置 spark 时,我收到以下错误消息:
sc <- spark_connect(master = "local", spark_home = "~/server/spark/")
`错误:Java 11 仅支持 Spark 3.0.0+
有没有办法为 sparklyr 也永久配置 java_home?我在文档中没有找到任何关于此的信息。
谢谢!
我正在使用 Mac OS Catalina 10.15.4,RStudio 版本 1.2.5033,Spark 版本 2.4.5
我用两个步骤完成了这个:
我在终端中通过 运行
/usr/libexec/java_home -v 1.8
获得了合适的 Java 家(这也应该已经在 bash 配置文件中设置,更多详情 here)我在我的 .Renviron 文件中添加了一个 JAVA_HOME(和 SPARK_HOME)变量,这样我就不必为每个会话都设置它。我使用
usethis::edit_r_environ()
打开文件并重新启动我的 R 会话以使其生效。 (有关 .Renviron 的更多详细信息通常 here)。