Apache Spark 提供自定义类路径
Apache Spark providing custom classpath
如何为 运行 集群模式下的 spark 应用程序提供自定义类路径（即驱动程序提交，执行程序执行）
spark.driver.userClassPathFirst 选项导致更多类路径冲突。
--conf spark.executor.extraClassPath=foo/bar.jar --conf spark.driver.extraClassPath=foo/bar.jar
我在使用时使用了这个 spark-submit 我没有看到它生效。
foo/bar.jar 是否必须存在于执行程序主机上，或者它也会使其可用？
如果你想通过作业本身将 jars 复制到所有执行程序，你可以使用 --jars。否则你需要复制罐子。
谢谢
拉维
如何为 运行 集群模式下的 spark 应用程序提供自定义类路径（即驱动程序提交，执行程序执行）
spark.driver.userClassPathFirst 选项导致更多类路径冲突。
--conf spark.executor.extraClassPath=foo/bar.jar --conf spark.driver.extraClassPath=foo/bar.jar
我在使用时使用了这个 spark-submit 我没有看到它生效。
foo/bar.jar 是否必须存在于执行程序主机上，或者它也会使其可用？
如果你想通过作业本身将 jars 复制到所有执行程序，你可以使用 --jars。否则你需要复制罐子。
谢谢 拉维