我想将模式（元数据）作为 Spark dataframe/dataset 的参数传递（数据框名称作为参数）

Question

我想将模式（元数据）作为 Spark 的参数传递 dataframe/dataset。

我正在使用 spark 2.x

代码：（示例）

//如下定义元数据。

val df_emp_metadata = StructType(
  List(
    StructField("emp_id", StringType,true),
    StructField("emp_hier_dt",DateType,true),
    StructField("dept_id",IntegerType,true)
  ))

  
val df_dept_metadata = StructType(
  List(
    StructField("dept_id", IntegerType,true),
    StructField("dept_name",StringType,true)
  ))

我想在执行 Spark-Submit 时将 df_emp_metadata/df_dept_metadata 作为参数传递，并将其作为变量传递到下面的模式中。

val meta_Data = arg(0)  //(df_emp_metadata or df_dept_metadata from Spark-Submit)

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema($meta_Data)
    .load("data/source_file.csv")

Spark 不允许将数据框名称作为参数传递。

如果在 Spark/Scala 编程中有任何其他替代方法，请提出建议。

Answer 1

简单的if-else语句。您可以 select 通过放置 1 和 2 或其他。

val argument = arg(0)

val schema = if (argument == "1") df_emp_metadata else df_dept_metadata 

val readFileIn = spark.sqlContext.read
    .format("csv")
    .schema(schema)
    .load("data/source_file.csv")

我想将模式（元数据）作为 Spark dataframe/dataset 的参数传递（数据框名称作为参数）

I want to pass schema (metadata) as an argument from Spark dataframe/dataset (dataframe name as an argument)

scala

dataframe

apache-spark

apache-spark-sql

apache-spark-dataset