在 EMR Spark 应用程序中加载 props 文件
Load props file in EMR Spark Application
我正在尝试使用 :-
在我的 spark 应用程序中加载自定义属性
command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar
但是，我收到以下异常：-
Exception in thread "main" java.lang.IllegalArgumentException: Invalid
properties file 's3://spark-config-test/myprops.conf''. at
org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at
org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile(AbstractCommandBuilder.java:284)
at
org.apache.spark.launcher.AbstractCommandBuilder.getEffectiveConfig(AbstractCommandBuilder.java:264)
at
org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:233)
at org
这是从 S3 加载文件的正确方法吗？
您不能直接从 S3 加载属性文件。相反，您需要将属性文件下载到某处的主节点，然后提交引用该节点上本地路径的 spark 作业。您可以使用命令-runner.jar 到 运行 aws cli 实用程序进行下载。
我正在尝试使用 :-
在我的 spark 应用程序中加载自定义属性command-runner.jar,spark-submit,--deploy-mode,cluster,--properties-file,s3://spark-config-test/myprops.conf,--num-executors,5,--executor-cores,2,--class,com.amazon.Main,#{input.directoryPath}/SWALiveOrderModelSpark-1.0-super.jar
但是，我收到以下异常：-
Exception in thread "main" java.lang.IllegalArgumentException: Invalid properties file 's3://spark-config-test/myprops.conf''. at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241) at org.apache.spark.launcher.AbstractCommandBuilder.loadPropertiesFile(AbstractCommandBuilder.java:284) at org.apache.spark.launcher.AbstractCommandBuilder.getEffectiveConfig(AbstractCommandBuilder.java:264) at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:233) at org
这是从 S3 加载文件的正确方法吗？
您不能直接从 S3 加载属性文件。相反，您需要将属性文件下载到某处的主节点，然后提交引用该节点上本地路径的 spark 作业。您可以使用命令-runner.jar 到 运行 aws cli 实用程序进行下载。