如何正确读取 pyarrow 生成的 Apache Arrow Feather 文件？

Question

我未能成功阅读由 python 脚本 javascript library of Arrow. 生成的 javascript 的 Apache Arrow Feather。我正在使用 Apache Arrow 项目中的 pyarrow 和 arrow/js。

我创建了一个简单的 python 脚本来创建 Feather 文件：

import pyarrow as pa
import pyarrow.feather as feather

# create a simple feather table to assess reading in JS with arrow/js
int_array = pa.array(list(range(10)))
int_schema = pa.schema([pa.field('Numbers_schema', pa.uint32())])
int_table = pa.Table.from_arrays([int_array], schema=int_schema)

feather.write_feather(int_table, 'simple.arrow', version=2)

如果我在 python 中读取 'simple.arrow' 文件并在 Jupyter notebook 中输出该文件，我会得到预期的结果：

| |Numbers_schema|
|--|-------------|
|0|0|
|1|1|
|2|2|
|3|3|
|4|4|
|5|5|

等等

但是，如果我使用简单的 Javascript 实现或 js 库提供的 arrow2csv.js 实现读取文件，结果数据如下所示（忽略索引，输出为使用从 1 开始的索引从 arrow2csv.js 输出：

| |"Numbers_schema: UInt32"|
|--|------------------------------|
|1|40|
|2|0|
|3|407708164|
|4|679624800|
|5|8388608|

等等

所以基本上，所有应该是 UInt32 的值都是不正确的。在我看来，JS 实现似乎没有正确读取 Feather 文件。这是错误还是我对 Feather 文件格式及其使用有误解？

此致，

-托尼

Answer 1

默认情况下，feather.write_feather() 使用 LZ4 压缩，但 javascript 库不支持来自 R/Python/C++ 实现的任何压缩标准。

如果您希望能够使用 Arrow-JS 库进行读取，则在从 Python 写入时必须将 compression="uncompressed" 作为参数传递。

通常当我尝试在 JS 中读取压缩的羽毛文件时会出错，因为文件比预期的字节数短；我猜你这里的数据足够短，相反，JS 实现从页脚中获取一些任意字节并试图将它们解释为“数字”列的一部分。

如何正确读取 pyarrow 生成的 Apache Arrow Feather 文件？

How to correctly read an Apache Arrow Feather file produced by pyarrow?

javascript

python

feather

apache-arrow