在 PyArrow 中，如何将 table 的行附加到内存映射文件？

Question

如您在下面的代码中所见，我在向保存在内存映射文件中的 Table 添加新行时遇到了问题。我只想用新行再次写入文件。

import pyarrow as pa

source = pa.memory_map(path, 'r')
table = pa.ipc.RecordBatchFileReader(source).read_all()
schema = pa.ipc.RecordBatchFileReader(source).schema
new_table = create_arrow_table(schema.names) #new table from pydict with same schema and random new values
updated_table = pa.concat_tables([table, new_table], promote=True)   
source.close()
with pa.MemoryMappedFile(path, 'w') as sink:
   with pa.RecordBatchFileWriter(sink, updated_table.schema) as writer:
      writer.write_table(table)

我收到一个异常，指出内存映射文件未关闭： ValueError: I/O operation on closed file.

有什么建议吗？

Answer 1

您的直接问题是您使用的是 pa.MemoryMappedFile(path, 'w') 而不是 pa.memory_map(path, 'w')。后者定义为...

_check_is_file(path)
cdef MemoryMappedFile mmap = MemoryMappedFile()
mmap._open(path, mode)
return mmap

...所以关闭的原因应该很清楚了。

你将运行进入的下一个问题（假设它不是 SO 中的 copy/paste 错误）是你正在写 table 而不是 updated_table .轻松修复。

第三个问题比较多。内存映射文件具有固定大小，不能像普通文件那样自然增长。如果您尝试将更新后的 table 写入同一个文件，您将看到...

OSError: Write out of bounds (offset = ..., size = ...) in file of size ...

这个问题不是那么容易克服的。您可以将内存映射 (sink.resize(...)) 的大小调整到某个“足够大”的大小，但最终会得到一个末尾带有一堆 0 的文件，因此您需要确保在之后将其缩小你写了，我不确定这是否会给你比写普通文件更好的性能。

您可以写入一个字节对象，然后调整文件大小并将您的字节写入内存映射文件，但这会给您一些额外的簿记，而且我不知道调整文件大小对性能的影响。

在 PyArrow 中，如何将 table 的行附加到内存映射文件？

In PyArrow, how to append rows of a table to a memory mapped file?

python

memory-mapped-files

pyarrow

memory-mapping

apache-arrow