如果使用 spring 引导，我应该使用 spark-submit
Should I use spark-submit if using spring boot
spark提交的目的是什么？据我所知，它只是将属性和 jars 添加到类路径中。
如果我正在使用 spring 引导，我可以避免使用 spark-submit，而只需打包一个包含我想要的所有属性的 fat jar spark.master 等...
人们能看出这样做有什么缺点吗？
最近我遇到了同样的情况 - 并且还尝试坚持使用 spring boot exec jar，不幸的是最终失败了，但我快结束了。我放弃时的状态是 - spring 构建的引导 jar 没有包含 spark/hadoop 库，我 运行 它在一个集群上 -Dloader.path='spark/hadoop libs list extracted from SPARK_HOME and HADOOP_HOME on cluster' .我最终使用了 2d 选项——使用 shaded 插件构建 fat jar 并且 运行 它像往常一样通过 spark 提交 jar 这似乎是一个有点奇怪的解决方案但仍然可以正常工作
spark提交的目的是什么？据我所知，它只是将属性和 jars 添加到类路径中。 如果我正在使用 spring 引导，我可以避免使用 spark-submit，而只需打包一个包含我想要的所有属性的 fat jar spark.master 等...
人们能看出这样做有什么缺点吗？
最近我遇到了同样的情况 - 并且还尝试坚持使用 spring boot exec jar，不幸的是最终失败了，但我快结束了。我放弃时的状态是 - spring 构建的引导 jar 没有包含 spark/hadoop 库，我 运行 它在一个集群上 -Dloader.path='spark/hadoop libs list extracted from SPARK_HOME and HADOOP_HOME on cluster' .我最终使用了 2d 选项——使用 shaded 插件构建 fat jar 并且 运行 它像往常一样通过 spark 提交 jar 这似乎是一个有点奇怪的解决方案但仍然可以正常工作