阅读时忽略了 Spark 中已排序文件的镶木地板摘要文件 (_metadata)？

Question

我有一个包含不同列和 ID 的排序数据集。数据集已排序（也使用 parquet-tools 验证）：示例：

file 1: ID 1-10
file 2: ID 10-12
file 3: ID 12-33
....

我还生成并写入了 _metadata 和 _common_metadata 文件。我尝试使用过滤器

查询（非常大的）数据集

val mydata=spark.read.parquet("s3a://.../mylocation")
val result = mydata.filter(mydata("id") === 11)
result.explain(true)

解释告诉我：

== Parsed Logical Plan ==
Filter (id#14L = 11)
+- Relation[fieldA#12, fieldB#13,id#14L] parquet

== Analyzed Logical Plan ==
fieldA: int, fieldB: string, id: bigint
Filter (id#14L = 11)
+- Relation[fieldA#12, fieldB#13,id#14L] parquet

== Optimized Logical Plan ==
Filter (isnotnull(id#14L) && (id#14L = 11))
+- Relation[fieldA#12, fieldB#13,id#14L] parquet

== Physical Plan ==
*(1) Project [fieldA#12, fieldB#13,id#14L]
+- *(1) Filter (isnotnull(id#14L) && (id#14L = 11))
   +- *(1) FileScan parquet [fieldA#12,fieldB#13,id#14L] Batched: true, Format: Parquet, Location: InMemoryFileIndex[s3a://mybucket/path/to/data], PartitionFilters: [], PushedFilters: [IsNotNull(id), EqualTo(id,11)], ReadSchema: struct<fieldA:int,fieldB:string,id:bigint>

我还启用了日志记录，可以看到读取了多个文件以获取每个文件的元数据。我在 s3 中的 "directory" 中有 10000 个文件，因此从文件

中检索所有元数据需要花费大量时间

为什么 spark 没有从 _metadata 文件中获取元数据？是否有启用此功能的选项？我已经尝试过以下选项：

spark.conf.set("parquet.summary.metadata.level","ALL")
spark.conf.set("parquet.filter.statistics.enabled","true")
spark.conf.set("parquet.filter.dictionary.enabled","true")
spark.conf.set("spark.sql.parquet.filterPushdown","true")
spark.conf.set("spark.sql.hive.convertMetastoreParquet","true")
spark.conf.set("spark.sql.parquet.respectSummaryFiles","true")
spark.conf.set("spark.sql.parquet.mergeSchema","false")
spark.conf.set("spark.sql.hive.convertMetastoreParquet.mergeSchema","false")
spark.conf.set("spark.sql.optimizer.metadataOnly", "true")

Answer 1

Parquet 摘要文件被认为实际上没有用，并且在 SPARK-15719 中禁用了对它们的写入支持。 JIRA 中提到的推理建议摘要文件仅用于读取模式，而不用于其他元数据，如 min/max 可能对过滤有用的统计数据。我无法确认是否确实如此，但这里是该推理的摘录：

Parquet summary files are not particular useful nowadays since

when schema merging is disabled, we assume schema of all Parquet part-files are identical, thus we can read the footer from any part-files.

when schema merging is enabled, we need to read footers of all files anyway to do the merge.

根据这个摘录，需要读取每个文件页脚也可能是由于 schema merging 被启用，虽然如果摘要文件真的只用于架构，那么我认为文件页脚必须无论如何都会被阅读。

如果按 ID 查询对您来说是一个频繁的操作，您可以考虑按 ID 对 table 进行分区，以避免不必要地读取文件。

阅读时忽略了 Spark 中已排序文件的镶木地板摘要文件 (_metadata)？

parquet summary file (_metadata) ignored for sorted files in Spark while reading?

hadoop

apache-spark

parquet