访问通过 --files 传递给 spark submit 的文件

Question

我正在向 spark-submit 提交一个脚本，并使用 --files 属性向它传递一个文件。稍后我需要在工人中阅读它。

我不明白 API 我应该用什么来做到这一点。我想我会尝试：

with open('myfile'):

但这没有用。

我可以使用 addFile 机制传递文件，但它对我来说可能不够好。

这似乎是一个非常简单的问题，但我没有找到任何关于 spark-submit 的全面文档。 The docs 一定不要覆盖它。

Answer 1

嗯，这很尴尬。我忘了看里面 spark-submit --help。这就是它所说的：

  --files FILES               Comma-separated list of files to be placed in the working
                              directory of each executor. File paths of these files
                              in executors can be accessed via SparkFiles.get(fileName).

有时候就在自己眼皮底下..

访问通过 --files 传递给 spark submit 的文件

Accessing a file that was passed via --files to spark submit

pyspark

spark-submit