火花提交选项列表
List of spark-submit options
在 Spark
configurations page. However as told here 中提到了大量可调设置,SparkSubmitOptionParser
属性名称 Spark
属性 可以不同于 属性's-name.
例如,spark.executor.cores
在 spark-submit
中作为 --executor-cores
传递。
我在哪里可以找到 详尽的 列表,其中包含 Spark
的所有调整参数(连同它们的 SparkSubmitOptionParser
属性 名称)可以用spark-submit
命令传递吗?
在您的情况下,您实际上应该从文件中加载您的配置,如 document 中所述,而不是将它们作为标志传递给 spark-submit
。这减轻了将 SparkSubmitArguments
映射到 Spark 配置参数的开销。引用上述文件:
Loading default Spark configurations this way can obviate the need for certain flags to spark-submit
. For instance, if the spark.master property is set, you can safely omit the --master
flag from spark-submit
. In general, configuration values explicitly set on a SparkConf
take the highest precedence, then flags passed to spark-submit
, then values in the defaults file.
虽然 @suj1th 的宝贵意见确实解决了我的问题,但我正在回答我自己的问题以直接解决我的疑问。
对于给定的 Spark
[=53=,您无需查找 SparkSubmitOptionParser
的 attribute-name ]属性(配置设置)。两者都会做得很好。但是,请注意,用法之间存在细微差别,如下所示:
spark-submit --executor-cores 2
spark-submit --conf spark.executor.cores=2
上面显示的两个命令将具有相同的效果。第二种方法采用 configurations 格式 --conf <key>=<value>
.
将值括在引号中(如果不正确/不完整请纠正我)
(i) 值不需要用任何类型的引号(单引号 ''
或双引号 ""
)括起来(如果需要,您仍然可以)。
(ii) 如果该值有一个 space
字符,将整个事物用双引号括起来 ""
就像 "<key>=<value>"
所示 here.
对于可以用 spark-submit
传递的所有 配置 的 综合 列表,只需 运行 spark-submit --help
在@suj1th提供的this link中,他们说:
configuration values explicitly set on a SparkConf take the highest
precedence, then flags passed to spark-submit, then values in the
defaults file.
If you are ever unclear where configuration options are coming from,
you can print out fine-grained debugging information by running
spark-submit with the --verbose option.
来自 Spark
文档的两个链接列出了很多 配置 s:
在 Spark
configurations page. However as told here 中提到了大量可调设置,SparkSubmitOptionParser
属性名称 Spark
属性 可以不同于 属性's-name.
例如,spark.executor.cores
在 spark-submit
中作为 --executor-cores
传递。
我在哪里可以找到 详尽的 列表,其中包含 Spark
的所有调整参数(连同它们的 SparkSubmitOptionParser
属性 名称)可以用spark-submit
命令传递吗?
在您的情况下,您实际上应该从文件中加载您的配置,如 document 中所述,而不是将它们作为标志传递给 spark-submit
。这减轻了将 SparkSubmitArguments
映射到 Spark 配置参数的开销。引用上述文件:
Loading default Spark configurations this way can obviate the need for certain flags to
spark-submit
. For instance, if the spark.master property is set, you can safely omit the--master
flag fromspark-submit
. In general, configuration values explicitly set on aSparkConf
take the highest precedence, then flags passed tospark-submit
, then values in the defaults file.
虽然 @suj1th 的宝贵意见确实解决了我的问题,但我正在回答我自己的问题以直接解决我的疑问。
对于给定的
Spark
[=53=,您无需查找SparkSubmitOptionParser
的 attribute-name ]属性(配置设置)。两者都会做得很好。但是,请注意,用法之间存在细微差别,如下所示:spark-submit --executor-cores 2
spark-submit --conf spark.executor.cores=2
上面显示的两个命令将具有相同的效果。第二种方法采用 configurations 格式
--conf <key>=<value>
.将值括在引号中(如果不正确/不完整请纠正我)
(i) 值不需要用任何类型的引号(单引号
''
或双引号""
)括起来(如果需要,您仍然可以)。(ii) 如果该值有一个
space
字符,将整个事物用双引号括起来""
就像"<key>=<value>"
所示 here.对于可以用
spark-submit
传递的所有 配置 的 综合 列表,只需 运行spark-submit --help
在@suj1th提供的this link中,他们说:
configuration values explicitly set on a SparkConf take the highest precedence, then flags passed to spark-submit, then values in the defaults file.
If you are ever unclear where configuration options are coming from, you can print out fine-grained debugging information by running spark-submit with the --verbose option.
来自 Spark
文档的两个链接列出了很多 配置 s: