提交 Spark 作业未加载 spark-cloudant:2.0.0-s_2_11 包

Submit Spark job is not loading spark-cloudant:2.0.0-s_2_11 package

我正在使用以下命令提交 Spark,

./spark-submit --packages cloudant-labs:spark-cloudant:2.0.0-s_2.11 --class spark.cloudant.connecter.cloudantconnecter --master local[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar

但似乎 "spark-cloudant" 包没有加载.. 可能是因为工件位于 Spark Packages 存储库 (https://dl.bintray.com/spark-packages/maven/)

而未加载

那么加载包的命令需要做哪些更改?

这里显示了此包的完整详细信息 https://mvnrepository.com/artifact/cloudant-labs/spark-cloudant/2.0.0-s_2.11

似乎需要在使用 Spark-submit 命令加载包时添加存储库,

-- repository url

所以新命令将是,

./spark-submit --packages cloudant-labs:spark-cloudant:2.0.0-s_2.11 --repositories https://dl.bintray.com/spark-packages/maven/ --class spark.cloudant.connecter.cloudantconnecter --master local[*] /opt/demo/sparkScripts/ScoredJob/sparkcloudantconnecter.jar