启动 spark master windows7

Question

使用win7-64位，jdk8，sparks1.6.2。我有 spark 运行ning、winutils、HADOOP_HOME 等

根据文档注意：启动脚本当前不支持 Windows。要运行 Windows 上的 Spark 集群，手动启动 master 和 worker。但是不说怎么办？

如何在 windows 上启动 spark master？

尝试了运行ning sh start-master.sh through git bash : failed to launch org.apache.spark.deploy.master.Master: 即使它打印出 Master -- ip Sam-Toshiba --port 7077 --webui-port 8080 - 所以我不知道这一切意味着什么。但是当我尝试 spark-submit --class " " --master spark://Sam-Toshiba:7077 target/ .jar - 我收到错误：警告 AbstractLifeCycle：失败 SelectChannelConnector@0.0.0.0： 4040：java.net.BindException：地址已在使用：绑定 java.net.BindException: 地址已被使用

WARN Utils: Service 'SparkUI' could not bind on port 4040. Attempting port 4041.
17/01/12 14:44:29 WARN AppClient$ClientEndpoint: Failed to connect to master Sam-Toshiba:7077
java.io.IOException: Failed to connect to Sam-Toshiba/192.168.137.1:7077
    at org.apache.spark.network.client.TransportClientFactory.createClient(TransportClientFactory.java:216)

也试过 spark://localhost:7077 - 同样的错误

Answer 1

在 Windows 上，您可以使用以下命令启动 Master。打开命令提示符并转到 Spark bin 文件夹并执行

spark-class.cmd org.apache.spark.deploy.master.Master

以上命令将根据您机器的 IP 在控制台中像 Master: Starting Spark master at spark://192.168.99.1:7077 一样打印。您可以在 http://192.168.99.1:8080/

查看 UI

如果你想在 master 启动后启动 worker，你可以使用下面的命令。这将使用您机器的所有可用内核。

spark-class.cmd org.apache.spark.deploy.worker.Worker spark://192.168.99.1:7077

如果你想利用你机器 4 核中的 2 核，那么使用

spark-class.cmd org.apache.spark.deploy.worker.Worker -c 2 spark://192.168.99.1:7077

启动 spark master windows7

Launch spark master windows7

java

windows-7-x64

apache-spark