适用于 Sparklyr 的 Spark 兼容版本

Question

是否有关于哪些版本的 Spark 与 Sparklyr 兼容的权威来源？或者谁能阐明如何确定这一点？

我在 macOS 上，但我使用 Spark 2 并不成功。4.x；他们都无法连接，通常会产生“Failed to connect to sparklyr to port 8880...”错误。

我终于可以使用 Spark 2.3.0 来工作了。但是，如果我尝试安装 2.3.3，则会出现错误：

> spark_install("2.3.3")
Error in spark_install_find(version, hadoop_version, installed_only = FALSE,  : 
  Spark version not available. Find available versions, using spark_available_versions()

可用的版本是：

> spark_available_versions()
  spark
1   1.6
2   2.0
3   2.1
4   2.2
5   2.3
6   2.4

因此，这看起来像一个 "authoritative" 列表，但 2.4 不起作用。

此外，2.3 是否仅表示 2.3.0？为什么不支持补丁发布？

Answer 1

您可以使用 spark_available_versions(show_minor = T) 列出次要版本，是的，sparklyr 支持补丁版本。截至最新版本：

   spark
1  1.6.3
2  1.6.2
3  1.6.1
4  1.6.0
5  2.0.0
6  2.0.1
7  2.0.2
8  2.1.0
9  2.1.1
10 2.2.0
11 2.2.1
12 2.3.0
13 2.3.1
14 2.3.2
15 2.3.3
16 2.4.0
17 2.4.1
18 2.4.2
19 2.4.3

适用于 Sparklyr 的 Spark 兼容版本

Compatible versions of Spark for Sparklyr

sparklyr