如何使用 scala spark 将 JSON 数组拆分为多个 JSONs
How to split a JSON array to multiple JSONs using scala spark
我有一个数组JSON,格式如下
{
"marks": [
{
"subject": "Maths",
"mark": "80"
},
{
"subject": "Physics",
"mark": "70"
},
{
"subject": "Chemistry",
"mark": "60"
}
]
}
我需要将每个数组对象拆分为单独的 JSON 文件。有什么办法可以在 spark shell.
中做到这一点
您可以分解结构的标记数组,添加 ID 列,并写入 JSON 按唯一 ID 列分区的文件。
df.selectExpr("inline(marks)")
.withColumn("id", monotonically_increasing_id)
.repartition(col("id"))
.write
.partitionBy("id")
.json("output")
我有一个数组JSON,格式如下
{
"marks": [
{
"subject": "Maths",
"mark": "80"
},
{
"subject": "Physics",
"mark": "70"
},
{
"subject": "Chemistry",
"mark": "60"
}
]
}
我需要将每个数组对象拆分为单独的 JSON 文件。有什么办法可以在 spark shell.
中做到这一点您可以分解结构的标记数组,添加 ID 列,并写入 JSON 按唯一 ID 列分区的文件。
df.selectExpr("inline(marks)")
.withColumn("id", monotonically_increasing_id)
.repartition(col("id"))
.write
.partitionBy("id")
.json("output")