火花错误阅读实木复合地板
spark error reading parquet
我们正在使用 apache spark，我们将 json 文件保存为 hdfs 中的 gzip 压缩镶木地板文件。但是，当读回它们以生成数据帧时，某些文件（但不是全部）会引发以下异常：
ERROR Executor: Exception in task 2.0 in stage 72.0 (TID 88)
org.apache.parquet.io.ParquetDecodingException: Can not read value at 351 in
block 0 in file file:/path/to/file [...]
Caused by: java.lang.ClassCastException:
org.apache.spark.sql.catalyst.expressions.MutableLong cannot be cast to
org.apache.spark.sql.catalyst.expressions.MutableDouble
非常感谢任何帮助！
当您尝试同时读取具有不同模式的镶木地板文件时，会发生这种错误。尝试让 /convert 所有源文件具有相同的模式或同时转换所有源文件。
我们正在使用 apache spark，我们将 json 文件保存为 hdfs 中的 gzip 压缩镶木地板文件。但是，当读回它们以生成数据帧时，某些文件（但不是全部）会引发以下异常：
ERROR Executor: Exception in task 2.0 in stage 72.0 (TID 88)
org.apache.parquet.io.ParquetDecodingException: Can not read value at 351 in
block 0 in file file:/path/to/file [...]
Caused by: java.lang.ClassCastException:
org.apache.spark.sql.catalyst.expressions.MutableLong cannot be cast to
org.apache.spark.sql.catalyst.expressions.MutableDouble
非常感谢任何帮助！
当您尝试同时读取具有不同模式的镶木地板文件时，会发生这种错误。尝试让 /convert 所有源文件具有相同的模式或同时转换所有源文件。