Spark on Mesos 如何设置驱动程序的位置
Spark on Mesos how to set location of the driver
我在 Mesos 上以集群模式安装了 Spark 运行ning。
当我提交作业时,驱动程序 运行 随机出现在任何从属节点上。有没有办法可以指定驱动程序的位置?例如我要 运行 on..
的从站 IP
我可以使用spark.driver.host
谢谢,
没有。在cluster mode中,即在./bin/spark-submit
命令中使用--deploy-mode cluster
选项,驱动程序在集群中的一个节点上启动。您应该 而不是 设置 spark.driver.host
and/or spark.driver.port
因为这是由 SparkContext
.
以编程方式设置的
我在 Mesos 上以集群模式安装了 Spark 运行ning。
当我提交作业时,驱动程序 运行 随机出现在任何从属节点上。有没有办法可以指定驱动程序的位置?例如我要 运行 on..
的从站 IP我可以使用spark.driver.host
谢谢,
没有。在cluster mode中,即在./bin/spark-submit
命令中使用--deploy-mode cluster
选项,驱动程序在集群中的一个节点上启动。您应该 而不是 设置 spark.driver.host
and/or spark.driver.port
因为这是由 SparkContext
.