为什么Spark Driver读取本地文件

Question

我使用 Spark Cluster Standalone。

主从在同一台服务器（服务器B）

我使用 Luigi（在服务器 A 上）提交我的应用程序并部署（客户端模式）。

我的应用程序读取服务器 B 上的本地文件。但是，该应用程序还试图读取服务器 A 上的文件。为什么？

sc.textFile('/path/to/the/file/*')

Answer 1

在客户端模式下，驱动程序与提交应用程序的客户端在同一进程中启动。

然而，在集群模式下，驱动程序是从集群内的工作进程之一启动的。

你应该使用集群模式。