sparklyr - 安装后出错
sparklyr - error after installation
我对 sparklyr 的简单安装感到非常满意。
spark_install(version = "2.1.0", hadoop_version = "2.7")
Installation complete.
但是在我想连接 spark 的安装之后，我收到了以下错误消息。文件夹 C:/spark 不存在，因为 RStudio 在我的用户下安装了 spark 命令。
> sc <- spark_connect(master = "local")
Created default hadoop bin directory under: C:\spark\tmp\hadoop Error
in spark_version_from_home(spark_home, default = spark_version) :
Failed to detect version from SPARK_HOME or SPARK_HOME_VERSION. Try
passing the spark version explicitly. In addition: Warning messages:
1: In dir.create(hivePath, recursive = TRUE) : cannot create dir
'C:\spark', reason 'Permission denied' 2: In dir.create(hadoopBinPath,
recursive = TRUE) : cannot create dir 'C:\spark', reason 'Permission
denied' 3: In file.create(to[okay]) : cannot create file
'C:\spark\tmp\hadoop\bin\winutils.exe', reason 'No such file or
directory' 4: running command '"C:\spark\tmp\hadoop\bin\winutils.exe"
chmod 777 "C:\spark\tmp\hive"' had status 127
>
有人知道解决方案吗？
编辑：
我已将文件夹复制到 C:/spark，现在可以使用了。但是我收到以下错误消息：
Created default hadoop bin directory under: C:\spark\tmp\hadoop Error
in start_shell(master = master, spark_home = spark_home, spark_version
= version, : sparklyr does not currently support Spark version: 2.1.0
但此版本列于：spark_available_versions()
我可以安装哪个版本是最新的？
我已经安装了这个版本并且一切正常：
`spark_install(version = "2.0.0", hadoop_version = "2.6")
您的环境中似乎已经设置了 SPARK_HOME，sparklyr 正在尝试使用它，而不是您使用 sparklyr 安装的版本。在连接 master="local".
之前，我会尝试 运行 Sys.unsetenv("SPARK_HOME")
我对 sparklyr 的简单安装感到非常满意。
spark_install(version = "2.1.0", hadoop_version = "2.7")
Installation complete.
但是在我想连接 spark 的安装之后，我收到了以下错误消息。文件夹 C:/spark 不存在，因为 RStudio 在我的用户下安装了 spark 命令。
> sc <- spark_connect(master = "local")
Created default hadoop bin directory under: C:\spark\tmp\hadoop Error in spark_version_from_home(spark_home, default = spark_version) :
Failed to detect version from SPARK_HOME or SPARK_HOME_VERSION. Try passing the spark version explicitly. In addition: Warning messages: 1: In dir.create(hivePath, recursive = TRUE) : cannot create dir 'C:\spark', reason 'Permission denied' 2: In dir.create(hadoopBinPath, recursive = TRUE) : cannot create dir 'C:\spark', reason 'Permission denied' 3: In file.create(to[okay]) : cannot create file 'C:\spark\tmp\hadoop\bin\winutils.exe', reason 'No such file or directory' 4: running command '"C:\spark\tmp\hadoop\bin\winutils.exe" chmod 777 "C:\spark\tmp\hive"' had status 127 >
有人知道解决方案吗？
编辑：
我已将文件夹复制到 C:/spark，现在可以使用了。但是我收到以下错误消息：
Created default hadoop bin directory under: C:\spark\tmp\hadoop Error in start_shell(master = master, spark_home = spark_home, spark_version = version, : sparklyr does not currently support Spark version: 2.1.0
但此版本列于：spark_available_versions()
我可以安装哪个版本是最新的？
我已经安装了这个版本并且一切正常：
`spark_install(version = "2.0.0", hadoop_version = "2.6")
您的环境中似乎已经设置了 SPARK_HOME，sparklyr 正在尝试使用它，而不是您使用 sparklyr 安装的版本。在连接 master="local".
Sys.unsetenv("SPARK_HOME")