我可以在 CDH 中安装多个 spark 版本吗?
Can I have multiple spark versions installed in CDH?
我使用的是 cdh5.1.0,它已经安装了默认的 spark。但是,我想使用 Spark 1.3。我也可以把这个版本安装到cdh5.1.0吗?怎么可能设置这些?新版spark也会通过Cloudera manager监控吗?
是的,您可以 运行 任何您喜欢的 Apache Spark 版本。只需确保它是为您拥有的 YARN 版本构建的(CDH 5.1.0 为 2.3)。然后,您可以 运行 您的应用程序作为带有 spark-submit
的 YARN 应用程序。 (参见 http://spark.apache.org/docs/latest/running-on-yarn.html。)它将像任何其他 YARN 应用程序一样受到监视。
Spark 根本不需要 "installed",您只需 运行 您的应用程序。
请使用 sudo 访问权限和密码从您的控制台执行以下命令....它会将您的 spark 当前版本更新到最新版本
sudo yum install spark-core spark-master spark-worker spark-history-server spark-python
sudo yum install spark-core spark-history-server spark-python
我使用的是 cdh5.1.0,它已经安装了默认的 spark。但是,我想使用 Spark 1.3。我也可以把这个版本安装到cdh5.1.0吗?怎么可能设置这些?新版spark也会通过Cloudera manager监控吗?
是的,您可以 运行 任何您喜欢的 Apache Spark 版本。只需确保它是为您拥有的 YARN 版本构建的(CDH 5.1.0 为 2.3)。然后,您可以 运行 您的应用程序作为带有 spark-submit
的 YARN 应用程序。 (参见 http://spark.apache.org/docs/latest/running-on-yarn.html。)它将像任何其他 YARN 应用程序一样受到监视。
Spark 根本不需要 "installed",您只需 运行 您的应用程序。
请使用 sudo 访问权限和密码从您的控制台执行以下命令....它会将您的 spark 当前版本更新到最新版本
sudo yum install spark-core spark-master spark-worker spark-history-server spark-python
sudo yum install spark-core spark-history-server spark-python