我可以在同一个节点上有一个主节点和一个工作节点吗?
Can I have a master and worker on same node?
我有一个 3 节点 spark 独立集群,在主节点上我也有一个 worker。当我向集群提交应用程序时,另外两个工作人员启动 运行,但主节点上的工作人员保持状态加载,最终另一个工作人员在其他机器上启动。
在同一个节点上有一个 worker 和一个 master 是问题吗?
如果是,有没有办法解决这个问题,或者我永远不应该在同一个节点上有一个工人和一个主人?
P.S。每台机器有 8 个内核,工作人员设置为使用 7 个而不是所有 RAM
可以让一台机器同时托管 Worker 和 Master。
您是否可能在该特定计算机上错误配置了 spark-env.sh
?
可以,这是来自 Spark web doc:
In addition to running on the Mesos or YARN cluster managers, Spark also provides a simple standalone deploy mode. You can launch a standalone cluster either manually, by starting a master and workers by hand, or use our provided launch scripts. It is also possible to run these daemons on a single machine for testing.
我有一个 3 节点 spark 独立集群,在主节点上我也有一个 worker。当我向集群提交应用程序时,另外两个工作人员启动 运行,但主节点上的工作人员保持状态加载,最终另一个工作人员在其他机器上启动。
在同一个节点上有一个 worker 和一个 master 是问题吗? 如果是,有没有办法解决这个问题,或者我永远不应该在同一个节点上有一个工人和一个主人?
P.S。每台机器有 8 个内核,工作人员设置为使用 7 个而不是所有 RAM
可以让一台机器同时托管 Worker 和 Master。
您是否可能在该特定计算机上错误配置了 spark-env.sh
?
可以,这是来自 Spark web doc:
In addition to running on the Mesos or YARN cluster managers, Spark also provides a simple standalone deploy mode. You can launch a standalone cluster either manually, by starting a master and workers by hand, or use our provided launch scripts. It is also possible to run these daemons on a single machine for testing.