如何使用 scala spark 将 JSON 数组拆分为多个 JSONs

How to split a JSON array to multiple JSONs using scala spark

我有一个数组JSON,格式如下

{
  "marks": [
    {
      "subject": "Maths",
      "mark": "80"
    },
    {
      "subject": "Physics",
      "mark": "70"
    },
    {
      "subject": "Chemistry",
      "mark": "60"
    }
  ]
}

我需要将每个数组对象拆分为单独的 JSON 文件。有什么办法可以在 spark shell.

中做到这一点

您可以分解结构的标记数组,添加 ID 列,并写入 JSON 按唯一 ID 列分区的文件。

df.selectExpr("inline(marks)")
  .withColumn("id", monotonically_increasing_id)
  .repartition(col("id"))
  .write
  .partitionBy("id")
  .json("output")