是否可以在 apache Spark 中也将主节点用作从节点?

Is it possible to use the master node as slave node too in apache Spark?

我有2台电脑。一台电脑,另一台笔记本电脑。我想用这两台电脑制作一个 spark 集群。因为我没有更多的机器,所以我想充分利用这两台电脑。配置中,Pc为主节点,笔记本为从节点。 是否可以将主节点(PC)用作spark集群中的主节点和从节点?我的意思是有 2 台计算机,是否可以有 2 个从节点和 1 个主节点?我希望 Pc 同时充当主从。可能吗?

is it possible to use the master node (the PC) as both master and slave in spark cluster? is it possible to have 2 slaves and 1 master node?

可以,你可以同时配置。

有很多link可用。您可以参考它进行安装。我提到了一些可以帮助您进行设置的 link。

参考下面 link 并在 spark conf 目录的 Slaves 文件中更新 PC 主机名,并在 spark-env.sh 中使用 PC 主机名设置 SPARK_MASTER_HOST .

https://www.edureka.co/blog/setting-up-a-multi-node-cluster-in-hadoop-2.X/

https://dzone.com/articles/setting-up-multi-node-hadoop-cluster-just-got-easy-2