火花提交选项列表

List of spark-submit options

Spark configurations page. However as told here 中提到了大量可调设置,SparkSubmitOptionParser 属性名称 Spark 属性 可以不同于 属性's-name.

例如,spark.executor.coresspark-submit 中作为 --executor-cores 传递。


我在哪里可以找到 详尽的 列表,其中包含 Spark 的所有调整参数(连同它们的 SparkSubmitOptionParser 属性 名称)可以用spark-submit命令传递吗?

在您的情况下,您实际上应该从文件中加载您的配置,如 document 中所述,而不是将它们作为标志传递给 spark-submit。这减轻了将 SparkSubmitArguments 映射到 Spark 配置参数的开销。引用上述文件:

Loading default Spark configurations this way can obviate the need for certain flags to spark-submit. For instance, if the spark.master property is set, you can safely omit the --master flag from spark-submit. In general, configuration values explicitly set on a SparkConf take the highest precedence, then flags passed to spark-submit, then values in the defaults file.

虽然 @suj1th 的宝贵意见确实解决了我的问题,但我正在回答我自己的问题以直接解决我的疑问。


  • 对于给定的 Spark [=53=,您无需查找 SparkSubmitOptionParserattribute-name ]属性(配置设置)。两者都会做得很好。但是,请注意,用法之间存在细微差别,如下所示:

    spark-submit --executor-cores 2

    spark-submit --conf spark.executor.cores=2

    上面显示的两个命令将具有相同的效果。第二种方法采用 configurations 格式 --conf <key>=<value>.

  • 将值括在引号中(如果不正确/不完整请纠正我)

    (i) 值不需要用任何类型的引号(单引号 '' 或双引号 "")括起来(如果需要,您仍然可以)。

    (ii) 如果该值有一个 space 字符,将整个事物用双引号括起来 "" 就像 "<key>=<value>" 所示 here.

  • 对于可以用 spark-submit 传递的所有 配置 综合 列表,只需 运行 spark-submit --help

  • @suj1th提供的this link中,他们说:

    configuration values explicitly set on a SparkConf take the highest precedence, then flags passed to spark-submit, then values in the defaults file.

    If you are ever unclear where configuration options are coming from, you can print out fine-grained debugging information by running spark-submit with the --verbose option.


来自 Spark 文档的两个链接列出了很多 配置 s: