在 spark-submit 命令行上设置 hadoop 配置值

Question

我们想设置 aws 参数，代码将通过 SparkContext:

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

但是，我们有一个自定义 Spark 启动器框架，需要通过 --conf 参数到 spark-submit 命令行完成所有自定义 Spark 配置。

有没有办法 "notify" SparkContext 将 --conf 值设置为 hadoopConfiguration 而不是一般的 SparkConf ？寻找与

类似的东西

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

或

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key

Answer 1

您需要在命令行（或 SparkConf 对象）中为 Hadoop 配置添加前缀 spark.hadoop.。例如：

spark.hadoop.fs.s3a.access.key=value