如何压缩和解压缩 Arrow 或 Feather 文件？

Question

我打算将数据文件格式从 parquet 更改为 feather。 Parquet 有压缩选项（lz4 等），我已经使用过它们。但我无法在羽毛或箭头文件中找到它们。不支持压缩吗？

Answer 1

专为内存驻留数据设计的 Arrow 文件格式不支持压缩算法，例如 lz4、snappy、gzip 和 zlib。 Arrow 目前支持的唯一压缩是字典压缩，这种方案通常不需要在数据处理之前解压缩。