Spark master 在 windows 上获取了错误的 IP

Question

当我出于某种原因在我的 windows 7 机器上本地启动 spark master 到 WebUI 时，显示 URL 和 REST URL IP 地址错误.

下面是我用来启动 master 的批处理脚本，其中 %IP% 是我的本地 IP 地址。

set SPARK_MASTER_IP=%IP%
set SPARK_PUBLIC_DNS=%IP%
set SPARK_MASTER_PORT=7077
set SPARK_MASTER_WEBUI_PORT=8080
set SPARK_MASTER_REST_PORT=6066

START "spark-master" /MIN "C:/spark-1.6.0-bin-hadoop2.6/bin/spark-class.cmd" ^
    org.apache.spark.deploy.master.Master

主站UI显示IP错误。由于某种原因，它正在获取属于安装在同一台机器上的 VirtualBox 的 IPv4 地址的 IP 地址。 （注意我没有以任何方式使用 Virutalbox 运行 Spark）

URL: spark://169.254.237.14:7077
REST URL: spark://169.254.237.14:6066 (cluster mode)

Answer 1

我认为问题是由安装 VirtualBox 后主机名到 ip 的解析顺序引起的。我通过在 hosts 文件中添加我的主机名和 IP 解决了这个问题。

c:\Windows\System32\Drivers\etc\hosts

MY_HOST_NAME MY_IP

Spark master 在 windows 上获取了错误的 IP

Spark master picking up wrong IP on windows

virtualbox

apache-spark