将外部 属性 文件添加到 spark 中的类路径
adding external property file to classpath in spark
我目前正在使用以下命令将我的 fat jar 提交到 spark 集群。
应用fat jar和相关配置在文件夹/home/myapplication
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf
现在我的要求是将外部 属性 文件 /home/myapplication/external-prop.properties 添加到驱动程序和工作节点的类路径.
我搜索了很多资源，但找不到我正在寻找的正确解决方案！
请帮助解决问题。提前致谢
您的要求在于使用 spark.executor.extraClassPath 配置指向属性文件。但在此之前，@philantrovert 指出使用 --files 选项将 属性 文件复制到工作节点。
所以你的正确命令应该是
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf --files /home/myapplication/external-prop.properties --conf "spark.executor.extraClassPath=./"
我目前正在使用以下命令将我的 fat jar 提交到 spark 集群。 应用fat jar和相关配置在文件夹/home/myapplication
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf
现在我的要求是将外部 属性 文件 /home/myapplication/external-prop.properties 添加到驱动程序和工作节点的类路径.
我搜索了很多资源，但找不到我正在寻找的正确解决方案！
请帮助解决问题。提前致谢
您的要求在于使用 spark.executor.extraClassPath 配置指向属性文件。但在此之前，@philantrovert 指出使用 --files 选项将 属性 文件复制到工作节点。
所以你的正确命令应该是
$SPARK_HOME/bin/spark-submit --jars $SPARK_HOME/lib/protobuf-java-2.5.0.jar --class MainClass /home/myapplication/my-application-fat.jar -appconf /home/myapplication/application-prop.properties -conf /home/myapplication/application-configuration.conf --files /home/myapplication/external-prop.properties --conf "spark.executor.extraClassPath=./"