YARN 上的火花 "user.dir"
Spark on YARN "user.dir"
我有一个外部 API jar，它正在下面的环境路径
中寻找依赖项
user.dir
，我们可以通过将依赖项放在调用目录中来使用 spark shell 本地模式中的 api。
我的问题是，当我将作业提交到 YARN 集群时，我无法使用 API 并且它无法解析其运行时依赖项，尽管我已将依赖项放在 HDFS 中的路径 [=13] =]
/user/username/
我在这里做错了什么，有什么方法可以自定义 user.dir 以防出现火花提交作业。 ？
只是把它放在这里给可能会卡住的人
Spark Driver 进程产生在不同节点上执行的执行器，在产生执行器之前没有明确且一致的方法来了解路径。
因此，我最好将工件作为 Jar 本身的一部分或作为依赖项进行捆绑。
我有一个外部 API jar，它正在下面的环境路径
中寻找依赖项user.dir
，我们可以通过将依赖项放在调用目录中来使用 spark shell 本地模式中的 api。 我的问题是，当我将作业提交到 YARN 集群时，我无法使用 API 并且它无法解析其运行时依赖项，尽管我已将依赖项放在 HDFS 中的路径 [=13] =]
/user/username/
我在这里做错了什么，有什么方法可以自定义 user.dir 以防出现火花提交作业。 ？
只是把它放在这里给可能会卡住的人 Spark Driver 进程产生在不同节点上执行的执行器，在产生执行器之前没有明确且一致的方法来了解路径。 因此，我最好将工件作为 Jar 本身的一部分或作为依赖项进行捆绑。