火花在主人的不同位置比奴隶
Spark in different location on master than slaves
我有一个 Apache Spark 设置,其中有一个主服务器和 2 个从服务器。 Spark 在每个从属节点上的位置与在主节点上的位置相同。
~/spark/spark-2.2.0-bin-hadoop2.7
这很好用。
我现在希望移动 spark 在从属节点上的位置,但将其保留在主节点上。现在我的设置如下所示:
大师:
~/spark/spark-2.2.0-bin-hadoop2.7
奴隶:
~/spark/spark2/spark-2.2.0-bin-hadoop2.7
现在,当我 运行 在我的主实例上启动-slaves.sh 时,出现以下错误:
slave1: bash: line 0: cd: ~/spark/spark2/spark-2.2.0-bin-hadoop2.7: No
such file or directory
我对移动 master 没有问题,但如果可以在不移动它的情况下做到这一点,我宁愿知道。我的设置可行吗?
正如@Ramesh Maharjan 所说:
In cluster computing all the configuration and setups in all the nodes should be identical.
我已经在所有节点上的配置和设置完全相同的设置上对此进行了测试,现在可以正常工作了。
我有一个 Apache Spark 设置,其中有一个主服务器和 2 个从服务器。 Spark 在每个从属节点上的位置与在主节点上的位置相同。
~/spark/spark-2.2.0-bin-hadoop2.7
这很好用。
我现在希望移动 spark 在从属节点上的位置,但将其保留在主节点上。现在我的设置如下所示:
大师:
~/spark/spark-2.2.0-bin-hadoop2.7
奴隶:
~/spark/spark2/spark-2.2.0-bin-hadoop2.7
现在,当我 运行 在我的主实例上启动-slaves.sh 时,出现以下错误:
slave1: bash: line 0: cd: ~/spark/spark2/spark-2.2.0-bin-hadoop2.7: No such file or directory
我对移动 master 没有问题,但如果可以在不移动它的情况下做到这一点,我宁愿知道。我的设置可行吗?
正如@Ramesh Maharjan 所说:
In cluster computing all the configuration and setups in all the nodes should be identical.
我已经在所有节点上的配置和设置完全相同的设置上对此进行了测试,现在可以正常工作了。