无法使用 spark 将 json 文件转换为镶木地板

Question

我正在使用 spark 1.6.0。我有一个 json 文件。下面给出。

{"id" : "1201", "name" : "shamir", "age" : "25"}

我正在尝试将其转换为镶木地板。下面是我的代码。

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext.implicits._
import sqlContext.sql
val employee = sqlContext.read.json("emp.json")
employee.write.parquet("employee.parquet")

我遇到了一个巨大的错误。我做错了什么？

这是我遇到的错误。

Answer 1

没有错误消息，几乎无法回答，但以下两行应该可以工作（在 Spark 1.5.2 上测试）：

val employee = sqlContext.jsonFile("emp.json")
employee.saveAsParquetFile("employee.parquet")
//Equivalent to :
employee.write.format("parquet").mode(SaveMode.ErrorIfExists).save("employee.parquet")

如果不是，可能是你的系统配置或输出路径可访问性的问题。

注意 employee.write.parquet("employee.parquet") 等同于 employee.write.format("parquet").save("employee.parquet")

Answer 2

在保存之前尝试合并到更少的分区

employee.coalesce(numPartitions).write.mode(SaveMode.Overwrite).parquet("employee.parquet")

无法使用 spark 将 json 文件转换为镶木地板

Cannot convert a json file to parquet using spark

json

scala

apache-spark

parquet