运行一台服务器上的多个 Spark 版本

Running multiple Spark versions on one server

我希望在一台服务器上部署两个版本的 Spark。最初我部署了 2.2.0 版。

现在我也部署了 2.0.1，但是当我运行 start-master.sh 在其 sbin 文件夹中时，版本 2.2.0 已启动。这大概是因为 SPARK_HOME 仍然设置为 2.2.0.

有什么方法可以配置 SPARK_HOME 以便两个版本都能工作？

我不确定这有什么不同，但我不打算同时拥有两个版本运行。

要在单个hadoop集群中管理多个版本的spark，我们可以使用CDH parcels轻松管理spark服务及其配置。

当我们要在单个集群中使用多个spark版本时，您应该配置spark shuffle服务。