只有 2 台计算机的集群上的 Apache spark
Apache spark on cluster of only 2 computers
我有两台电脑,我想用它们创建一个 spark 集群。由于一台计算机应该是主机,一台应该是从机,就速度而言是否等于只有一台计算机?我可以将其中一个设置为从属和主控,而另一个仅作为从属吗?这2台电脑可以是windows和linux系统吗?
当然!在 spark 术语中,您可以将其中一个设置为 运行 您的驱动程序并作为工作节点,而另一个 运行 仅作为工作节点。
关于 OS,Spark 在 Linux 上作为开发和可部署系统往往工作得非常好。对于 Windows,我建议仅将其用作开发环境。
是的,您也可以将主节点用作从节点
即在你的情况下你有 2 个节点和 1 个主节点和 2 个从节点
您可以使用一个 Linux 和一个 Windows 系统
可以按照下面link进行安装
https://medium.com/ymedialabs-innovation/apache-spark-on-a-multi-node-cluster-b75967c8cb2b
用于 Windows 机器
https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/
我有两台电脑,我想用它们创建一个 spark 集群。由于一台计算机应该是主机,一台应该是从机,就速度而言是否等于只有一台计算机?我可以将其中一个设置为从属和主控,而另一个仅作为从属吗?这2台电脑可以是windows和linux系统吗?
当然!在 spark 术语中,您可以将其中一个设置为 运行 您的驱动程序并作为工作节点,而另一个 运行 仅作为工作节点。
关于 OS,Spark 在 Linux 上作为开发和可部署系统往往工作得非常好。对于 Windows,我建议仅将其用作开发环境。
是的,您也可以将主节点用作从节点 即在你的情况下你有 2 个节点和 1 个主节点和 2 个从节点
您可以使用一个 Linux 和一个 Windows 系统
可以按照下面link进行安装 https://medium.com/ymedialabs-innovation/apache-spark-on-a-multi-node-cluster-b75967c8cb2b
用于 Windows 机器 https://hernandezpaul.wordpress.com/2016/01/24/apache-spark-installation-on-windows-10/