如何在启动 spark-shell 时为驱动程序和执行程序设置额外的类路径

Question

关于如何配置和运行 spark-shell 的文档 - 可能与 spark-submit 类似 - 并不完全清楚。

这是我尝试过的：

spark-shell --master <master IP:port> --executor-memory 8gb \ 
--total-executor-cores 10 --driver-memory 8gb \
--driver-class-path /opt/cloudera/CDH/lib/hive/lib \
--driver-java-options "-Dspark.executor.extraClassPath=/opt/cloudera/CDH/lib/hive/lib"

这不起作用：程序没有启动。实际上它 returns 立即。

我最需要澄清的项目是关于如何设置 spark.executor.extraClassPath 的 --driver-class-path 和 driver-java-options。 =12=]

Answer 1

问题出在我的预期上：问题是

--driver-memory 8GB

。那是行不通的。去掉它，其他设置都可以。

Answer 2

这是我对 Windows 7 的解决方案（长行显示 3 条不同的路径）

spark-shell --master local --driver-class-path ..\..\path1\jar1.jar;C:\Users\User\.m2\repository\path2\jar2.jar;target/playground-1.0-SNAPSHOT.jar

所以 3 件事让它发挥作用：

使用--driver-class-path选项
用 ; char
不要用 " 个字符将路径括起来

如何在启动 spark-shell 时为驱动程序和执行程序设置额外的类路径

How to set additional classpath for the driver and executors when launching spark-shell

apache-spark