在 Windows 上为 sparklyr 安装 Spark

Question

我已经尝试了几个关于在 Windows 环境中设置 Spark 和 Hadoop 的教程，尤其是与 R 一起使用。This one 在我点击图 9 时导致了这个错误：

This tutorial from Rstudio 也给我带来了问题。当我到达

sc <- spark_connect(master = "local")

步骤，我得到了这个熟悉的错误：

Error in force(code) : 
  Failed while connecting to sparklyr to port (8880) for sessionid (1652): Gateway in port (8880) did not respond.
    Path: C:\Users\jvangeete\spark-2.0.2-bin-hadoop2.7\bin\spark-submit2.cmd
    Parameters: --class, sparklyr.Backend, "C:\Users\jvangeete\Documents\R\win-library.3\sparklyr\java\sparklyr-2.0-2.11.jar", 8880, 1652


---- Output Log ----
The system cannot find the path specified.

---- Error Log ----

这个端口问题与我尝试在 spark_connect(...) 中分配 "yarn-client" 参数时遇到的问题类似，在 Zaidi 女士的教程 here. (That tutorial has its own issues, which I've put up on a board, here 中尝试时，如果有人感兴趣的话。）

如果我首先安装 Ubuntu VM，TutorialsPoint 演练让我顺利通过，但我使用的是 Microsoft R(RO)，所以我想在 Windows，尤其是因为 Emaasit 先生在第一个教程中似乎能够运行一个我无法使用 .\bin\sparkR.

的命令

大多数情况下，我试图了解如何在 Windows.

中使用最好是 sparklyr 安装和运行 Spark 与 R 一起使用

更新 1：这是目录中的内容：

更新 2：这是我的 R 会话和系统信息

platform       x86_64-w64-mingw32          
arch           x86_64                      
os             mingw32                     
system         x86_64, mingw32             
status                                     
major          3                           
minor          3.1                         
year           2016                        
month          06                          
day            21                          
svn rev        70800                       
language       R                           
version.string R version 3.3.1 (2016-06-21)
nickname       Bug in Your Hair

Answer 1

从spark_hadooptar下载 http://spark.apache.org/downloads.html
从 carn 安装 sparklyr 包
spark_install_tar(tar文件="path/to/spark_hadoop.tar")

如果仍然出现错误，请手动取消tar tar 并设置 spark_home 环境变量指向 spark_hadoop untar 路径。

然后尝试在 R 控制台中执行以下命令。库(sparklyr) sc <- spark_connect(master = "local").

在 Windows 上为 sparklyr 安装 Spark

Install Spark on Windows for sparklyr

r

hadoop

apache-spark

sparkr

sparklyr

更新 1：这是目录中的内容：

更新 2：这是我的 R 会话和系统信息