Spark 2.0 隐式编码器,当类型为 Option[Seq[String]] 时处理缺失列(scala)
Spark 2.0 implicit encoder, deal with missing column when type is Option[Seq[String]] (scala)
当我们的数据源中缺少某些类型为 Option[Seq[String]] 的列时,我在编码数据时遇到了一些问题。理想情况下,我希望用 None
填充缺失的列数据。
场景:
我们正在读取一些镶木地板文件,其中包含 column1 但没有 column2.
我们将这些 parquet 文件中的数据加载到 Dataset
,并将其转换为 MyType
。
case class MyType(column1: Option[String], column2: Option[Seq[String]])
sqlContext.read.parquet("dataSource.parquet").as[MyType]
org.apache.spark.sql.AnalysisException: cannot resolve 'column2
' given input columns: [column1];
有没有办法用 column2 数据创建数据集 None
?
在简单的情况下,您可以提供一个初始模式,它是预期模式的超集。例如你的情况:
val schema = Seq[MyType]().toDF.schema
Seq("a", "b", "c").map(Option(_))
.toDF("column1")
.write.parquet("/tmp/column1only")
val df = spark.read.schema(schema).parquet("/tmp/column1only").as[MyType]
df.show
+-------+-------+
|column1|column2|
+-------+-------+
| a| null|
| b| null|
| c| null|
+-------+-------+
df.first
MyType = MyType(Some(a),None)
这种方法可能 有点脆弱 所以通常你应该使用 SQL 文字来填充空白:
spark.read.parquet("/tmp/column1only")
// or ArrayType(StringType)
.withColumn("column2", lit(null).cast("array<string>"))
.as[MyType]
.first
MyType = MyType(Some(a),None)
当我们的数据源中缺少某些类型为 Option[Seq[String]] 的列时,我在编码数据时遇到了一些问题。理想情况下,我希望用 None
填充缺失的列数据。
场景:
我们正在读取一些镶木地板文件,其中包含 column1 但没有 column2.
我们将这些 parquet 文件中的数据加载到 Dataset
,并将其转换为 MyType
。
case class MyType(column1: Option[String], column2: Option[Seq[String]])
sqlContext.read.parquet("dataSource.parquet").as[MyType]
org.apache.spark.sql.AnalysisException: cannot resolve '
column2
' given input columns: [column1];
有没有办法用 column2 数据创建数据集 None
?
在简单的情况下,您可以提供一个初始模式,它是预期模式的超集。例如你的情况:
val schema = Seq[MyType]().toDF.schema
Seq("a", "b", "c").map(Option(_))
.toDF("column1")
.write.parquet("/tmp/column1only")
val df = spark.read.schema(schema).parquet("/tmp/column1only").as[MyType]
df.show
+-------+-------+
|column1|column2|
+-------+-------+
| a| null|
| b| null|
| c| null|
+-------+-------+
df.first
MyType = MyType(Some(a),None)
这种方法可能 有点脆弱 所以通常你应该使用 SQL 文字来填充空白:
spark.read.parquet("/tmp/column1only")
// or ArrayType(StringType)
.withColumn("column2", lit(null).cast("array<string>"))
.as[MyType]
.first
MyType = MyType(Some(a),None)