从 Nexus 获取 spark job jar

Question

在给定 maven 坐标的情况下，是否可以让 spark 从 Nexus 获取 primaryResource jar？我知道可以从 Nexus 获取依赖项，但似乎无法从 Nexus 获取作业 jar。我想知道是否有其他人尝试过或有相同的解决方法。谢谢。

Answer 1

看起来 spark-submit 只适用于 --packages 和 --repositories 以及一个虚拟 primaryResource。

例子：

--packages someGroupId:someArtifactId:someVersion \
--repositories http://nexus.company.com/nexus nonExistentFakeName.jar

Fetch spark job jar from Nexus