配置单元 table 属性中 'parquet.compress' 和 'parquet.compression' 之间的区别

Question

我正在尝试查找有关将 Hive tables 与压缩镶木地板文件一起使用的文档和信息。我已经看到可以像这样添加 table 属性：

TBLPROPERTIES ('parquet.compress[ion]'='SNAPPY')

问题是在某些地方我发现 'parquet.compress'，而在其他一些地方我看到 'parquet.compression'。例如，这个问题有两个答案： Hive parquet snappy compression not working

我不清楚何时使用每个（例如哪个版本支持每个...）

我可以查看任何文档或信息吗？

Answer 1

正确的属性名称是“parquet.compression”。

查看源代码：ParquetOutputFormat class 包含名称为属性的压缩常量：

* # The compression algorithm used to compress pages
 * parquet.compression=UNCOMPRESSED # one of: UNCOMPRESSED, SNAPPY, GZIP, LZO. Default: UNCOMPRESSED. Supersedes mapred.output.compress*

...

public static final String COMPRESSION = "parquet.compression";

也ParquetRecordWriterWrapperclass使用table属性使用相同的常量ParquetOutputFormat.COMPRESSION，即“parquet.compression”：

String compressionName = tableProperties.getProperty(ParquetOutputFormat.COMPRESSION);

另请阅读Cloudera Parquet format documentation。

配置单元 table 属性中 'parquet.compress' 和 'parquet.compression' 之间的区别

Difference between 'parquet.compress' and 'parquet.compression' in hive table properties

compression

hive

cloudera

apache-spark

parquet