Json Spark 提交中的参数

Question

我的 spark-submit 命令：

spark-submit --deploy-mode cluster --class spark_package.import_jar s3://test-system/test.jar "{\"localparameter\" : {\"mail\": \"\", \"clusterid\": \"test\", \"clientCd\": \"1000\", \"processid\": \"1234\"} }"

这里我想将 clientCd 作为参数传递给我的 Scala 代码。

我的 Scala 代码：

package Spark_package

import org.apache.spark.SparkConf
import org.apache.spark.sql.SparkSession
object SampleFile {
  def main(args: Array[String]) {

    val spark = SparkSession.builder.master("local[*]").appName("SampleFile").getOrCreate()
    val sc = spark.sparkContext
    val conf = new SparkConf().setAppName("SampleFile")
    val sqlContext = spark.sqlContext


    val df = spark.read.format("csv").option("header","true").option("inferSchema","true").load("s3a://test-system/data/*.gz")

    df.createOrReplaceTempView("data")
    val res = spark.sql("select count(*) from data where client_cd = $clientCd")

    res.coalesce(1).write.format("csv").option("header","true").mode("Overwrite").save("s3a://dev-system/bkup/")

    spark.stop()
  }
}

这里我的问题是如何将 clientCd 作为参数传递给我的代码。

 val res = spark.sql("select count(*) from data where client_cd = $clientCd")

请帮我解决这个问题。

Answer 1

将所有程序参数附加到 spark-submit 的末尾，它们将在 args 的 main 中可用。

例如。 spark-submit --class xxx --deploy-mode xxx.jar arg1 arg2

然后您可以通过 json 解组器解析您的 arg1。

Json Spark 提交中的参数

Json argument in Spark submit

scala

apache-spark

apache-spark-sql

spark-submit