火花提交配置：罐子，包

Question

任何人都可以告诉我如何使用 jar 和包。

我正在开发 Web 应用程序。
对于发动机侧火花-mongo

bin/spark-submit --properties-file config.properties --packages org.mongodb.spark:mongo-spark-connector_2.11:2.4.1,com.crealytics:spark-excel_2.11:0.13.1 /home/PycharmProjects/EngineSpark.py 8dh1243sg2636hlf38m

我正在使用上面的命令，但每次都是从 Maven 存储库（jar 和包）下载。
所以现在我担心的是，如果我处于离线状态，它会给我错误
如果他们有任何方式只下载一次就很好，所以不需要每次都下载
关于如何处理它的任何建议。

Answer 1

获取所有需要的 jar 文件，然后将它们作为参数传递给 spark-submit。

这样就不用每次提交spark作业都下载文件了。

您必须使用 --jars 而不是 --packages

bin/spark-submit --properties-file config.properties --jars /home/PycharmProjects/spark-excel_2.11-0.11.1.jar,/home/PycharmProjects/mongo-spark-connector_2.11-2.4.1.jar /home/PycharmProjects/EngineSpark.py 8dh1243sg2636hlf38m

Answer 2

线程中出现异常 "main" org.apache.spark.SparkException：JAR 中未设置主 class；请用 --class

指定一个

可能是找不到jar文件，可能是路径不对或者给个试试 --jars 配置在最后，--class 首先。

火花提交配置：罐子，包

Spark-submit configuration: jars,packages

mongodb

pyspark

spark-submit