只有 2 台计算机的集群上的 Apache spark

Apache spark on cluster of only 2 computers

我有两台电脑,我想用它们创建一个 spark 集群。由于一台计算机应该是主机,一台应该是从机,就速度而言是否等于只有一台计算机?我可以将其中一个设置为从属和主控,而另一个仅作为从属吗?这2台电脑可以是windows和linux系统吗?

当然!在 spark 术语中,您可以将其中一个设置为 运行 您的驱动程序并作为工作节点,而另一个 运行 仅作为工作节点。

关于 OS,Spark 在 Linux 上作为开发和可部署系统往往工作得非常好。对于 Windows,我建议仅将其用作开发环境。

是的,您也可以将主节点用作从节点 即在你的情况下你有 2 个节点和 1 个主节点和 2 个从节点

您可以使用一个 Linux 和一个 Windows 系统

可以按照下面link进行安装 https://medium.com/ymedialabs-innovation/apache-spark-on-a-multi-node-cluster-b75967c8cb2b

用于 Windows 机器 https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/