从 hdfs 读取 ocr 文件后难以置信地激发数据帧

Question

我在 Ambari 上使用 spark 2.1.1 和 hadoop 2.6 时遇到问题。我首先在我的本地计算机上测试了我的代码（单节点、本地文件），一切都按预期工作：

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .master('yarn')\
    .appName('localTest')\
    .getOrCreate()

data = spark.read.format('orc').load('mydata/*.orc')
data.select('colname').na.drop().describe(['colname']).show()

+-------+------------------+
|summary| colname          |
+-------+------------------+
|  count|           1688264|
|   mean|17.963293650793652|
| stddev|5.9136724822401425|
|    min|               0.5|
|    max|              87.5|
+-------+------------------+

这些值完全合理。

现在我将我的数据上传到 hadoop 集群（ambari 设置、yarn、11 个节点）并使用 hadoop fs -put /home/username/mydata /mydata

将其推送到 hdfs

现在我测试了以以下结尾的相同代码 table:

from pyspark.sql import SparkSession

spark = SparkSession\
    .builder\
    .master('yarn')\
    .appName('localTest')\
    .getOrCreate()

data = spark.read.format('orc').load('hdfs:///mydata/*.orc')
data.select('colname').na.drop().describe(['colname']).show()

+-------+------------------+
|summary| colname          |
+-------+------------------+
|  count|           2246009|
|   mean|1525.5387403802445|
| stddev|16250.611372902456|
|    min|         -413050.0|
|    max|       1.6385821E7|
+-------+------------------+

但是另一件事完全让我感到困惑 -> 如果我将 mydata/*.orc 更改为 mydata/any_single_file.orc 并将 hdfs:///mydata/*.orc 更改为 hdfs:///mydata/any_single_file.orc 两个 tables（集群，本地电脑）是一样的...

有没有人知道更多关于这种奇怪行为的信息？

非常感谢！

Answer 1

我搜索 "solution" 一周后发现，在某些文件中，模式有点不同（或多或少是一列），虽然在 parquet 中实现了模式合并，但 orc 确实现在不支持架构合并.. https://issues.apache.org/jira/plugins/servlet/mobile#issue/SPARK-11412

所以我的解决方法是一个接一个地加载orc文件，然后我使用df.write.parquet()方法来转换它们。转换完成后。我可以在文件路径中使用 *.parquet 而不是 *.orc 将它们一起加载。

从 hdfs 读取 ocr 文件后难以置信地激发数据帧

Implausibly spark dataframe after read ocr files from hdfs

hadoop

hdfs

hadoop-yarn

apache-spark

pyspark