Apache Spark：在独立集群模式下读取文件

Question

我目前正在使用我 运行 我的 Graphx 应用程序在本地时从文件加载的图表。

我想运行集群独立模式下的应用程序。

我是否必须进行更改，例如将文件放置在每个群集节点中？ 我可以保持我的应用程序不变，只保留驱动程序中的文件吗？

谢谢。

Answer 1

为了允许节点上的执行程序访问输入文件，节点应该可以访问该文件。

首选方法是从支持多节点的位置读取文件，例如HDFS、cassandra

在每个节点上放置一个文件的副本也可能有效，但这不是推荐的方法。