Apache Spark 2.1.0 - 基本设置：工作节点未与主节点连接

Question

我正在尝试连接两个 VM 运行 Apache Spark；一个主人和一个工人。我正在使用 VirtualBox 和一个 host-only 网络适配器。 VM 能够 ping 彼此但是当我启动 worker 时它没有出现在 master 的网站中 UI.

我正在使用静态 IP，主服务器 10.10.10.2 和工人 10.10.10.3

我的 spark-env.sh 文件配置为包括：

SPARK_MASTER_IP=10.10.10.2

我首先启动主节点：

./start-master.sh

starting org.apache.spark.deploy.master.Master, logging to /usr/lib/spark/logs/spark-masternode-org.apache.spark.deploy.master.Master-1-masternode.out

那么工人：

./start-slave.sh spark://10.10.10.2:7077

starting org.apache.spark.deploy.worker.Worker, logging to /usr/lib/spark/logs/spark-modelnode1-org.apache.spark.deploy.worker.Worker-1-modelnode1.out

主节点G的输出结果UI:

如果我 nmap 10.10.10.2 来自工人：

Nmap scan report for 10.10.10.2
Host is up (0.00035s latency).
Not shown: 998 closed ports
PORT     STATE SERVICE
22/tcp   open  ssh
8080/tcp open  http-proxy

我不确定这是否相关，但它在 7077

中没有显示任何内容

非常感谢任何帮助！

Answer 1

SPARK_MASTER_IP 已弃用，不再用于 Spark 2.x。您可以使用：

SPARK_MASTER_HOST环境变量
-h / --host sbin/start-master.sh 的选项。

Apache Spark 2.1.0 - 基本设置：工作节点未与主节点连接

Apache Spark 2.1.0 - Basic Setup: worker node not connecting with master node

ubuntu

networking

virtualbox

cluster-computing

apache-spark