Spark:如何将驱动程序的IP指定为运行
Spark: How to specify the IP for the driver program to run
我在将特定 spark 节点配置为集群中的驱动程序时遇到问题。我有独立模式集群。每次主重启时,我都会看到集群中的一个节点被随机选择到 运行 驱动程序。因此,我被迫在集群中的所有节点上部署我的 JAR。
如果我可以指定驱动程序的IP为运行,那么我只需要在一个节点部署JAR
感谢,任何帮助。
如果您想从特定节点 运行 可以使用:
--deploy-mode client
使用此选项,驱动程序将始终 运行ning 在您 运行 spark-submit 的机器上。
我在将特定 spark 节点配置为集群中的驱动程序时遇到问题。我有独立模式集群。每次主重启时,我都会看到集群中的一个节点被随机选择到 运行 驱动程序。因此,我被迫在集群中的所有节点上部署我的 JAR。
如果我可以指定驱动程序的IP为运行,那么我只需要在一个节点部署JAR
感谢,任何帮助。
如果您想从特定节点 运行 可以使用:
--deploy-mode client
使用此选项,驱动程序将始终 运行ning 在您 运行 spark-submit 的机器上。