Spark 到 worker 的独立连接驱动程序

Question

我正在尝试在本地托管一个 spark 独立集群。我在局域网上连接了两台异构机器。下面列出的每个架构都是 docker 上的运行。我有以下配置

机器 1 上的 master（暴露端口 7077）
机器 1 上的工人
机器 2 上的驱动程序

我使用一个测试应用程序来打开一个文件并计算它的行数。当文件复制到所有工作人员并且我使用 SparkContext.readText()

时，该应用程序工作

但是当我使用 SparkContext.parallelize() 在工作人员上访问它时文件仅存在于工作人员上时，我有以下显示：

INFO StandaloneSchedulerBackend: Granted executor ID app-20180116210619-0007/4 on hostPort 172.17.0.3:6598 with 4 cores, 1024.0 MB RAM
INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20180116210619-0007/4 is now RUNNING
INFO StandaloneAppClient$ClientEndpoint: Executor updated: app-20180116210619-0007/4 is now EXITED (Command exited with code 1)
INFO StandaloneSchedulerBackend: Executor app-20180116210619-0007/4 removed: Command exited with code 1
INFO StandaloneAppClient$ClientEndpoint: Executor added: app-20180116210619-0007/5 on worker-20180116205132-172.17.0.3-6598 (172.17.0.3:6598) with 4 cores```

在没有实际计算应用程序的情况下不断重复。

当我将驱动程序与工作人员放在同一台电脑上时，这工作正常。所以我猜这两个网络之间存在某种允许的连接。您是否知道一种方法（打开哪些端口，添加哪个地址 /etc/hosts ...）

Answer 1

TL;DR 确保 spark.driver.host:spark.driver.port 可以从集群中的每个节点访问。

一般来说，您已经确保所有节点（执行器和主节点）都可以访问驱动程序。

在集群模式下，驱动程序在其中一个执行程序上运行，这默认情况下是满足的，只要连接没有关闭端口（见下文）。
在客户端模式下，已经启动驱动程序的机器必须可以从集群访问。这意味着 spark.driver.host 必须解析为可公开访问的地址。

在这两种情况下，您都必须记住，默认情况下驱动程序在随机端口上运行。通过设置 spark.driver.port 可以使用固定的。显然，如果您想同时提交多个申请，这就不太管用了。

此外：

when when the file is only present on worker

行不通。所有输入都必须可以从驱动程序以及每个执行程序节点访问。

Spark 到 worker 的独立连接驱动程序

Spark standalone connection driver to worker

apache-spark

apache-spark-standalone

spark-submit