在 Rstudio 中将 R 与 Spark 连接 - 无法启动 Spark shell。端口文件不存在

Question

我正在尝试使用 Rstudio 将 R 与 Spark 的本地实例连接起来。但是，我收到了显示的错误消息。我错过了什么？我正在使用 windows 10。我正在按照 rstudio.

上的教程进行操作

  library(sparklyr)
  spark_install(version = "1.6.1")
  library(sparklyr)
  library(dplyr)
  sc <- spark_connect(master = "local")

我收到的错误消息：

     Error in start_shell(scon, list(), jars, packages) : 
     Failed to launch Spark shell. Ports file does not exist.
    Path: C:\Users\username\AppData\Local\rstudio\spark\Cache\spark-1.6.1-  bin-hadoop2.6\bin\spark-submit.cmd

 Parameters: --packages "com.databricks:spark-csv_2.11:1.3.0,com.amazonaws:aws-java-sdk-pom:1.10.34" --jars "C:\Users\user\Documents\R\win-library.3\sparklyr\java\rspark_utils.jar"   sparkr-shell C:\Users\aaaa\AppData\Local\Temp\Rtmpw9PBxS\filea5860886dd1.out

 'cmd' is not recognized as an internal or external command,
  operable program or batch file.

Answer 1

将 C:\Windows\system32 添加到系统变量路径解决了它。之前，它仅被添加到用户变量 Path 中，这导致了错误消息。

在 Rstudio 中将 R 与 Spark 连接 - 无法启动 Spark shell。端口文件不存在

Connect R with Spark in Rstudio-Failed to launch Spark shell. Ports file does not exist

r

rstudio

apache-spark

sparkapi

sparklyr