使用 Python/Cython 写入二进制文件的更快方法

Question

我检查了 2 种读取二进制文件的方法 Python/Cython:

第一个是使用 mmap 和 struct.unpack 模块：

import mmap

import os
import struct

fd = os.open(filePath, os.O_RDONLY)
mmap_file = mmap.mmap(fd, length=24, access=mmap.ACCESS_READ, offset=0)
Xmin = struct.unpack("i", mmap_file[:4])[0]
Xmax = Xmin + struct.unpack("i", mmap_file[12:16])[0]
Ymax = struct.unpack("i", mmap_file[4:8])[0]
Ymin = Ymax - struct.unpack("i", mmap_file[16:20])[0]
Zmax = struct.unpack("1f", mmap_file[8:12])[0]

第二个是使用 mmap 和 from_buffer:

class StructHeaderLID(Structure):
    _fields_ = [('Xmin', c_int),('Ymax', c_int),('Zmax', c_float),('tileX', c_int),('tileY', c_int)]

    d_array = StructHeaderLID*1

    fd = os.open(filePath, os.O_RDWR)
    mmap_file = mmap.mmap(fd, length=24, access=mmap.ACCESS_WRITE, offset=0)
    data = d_array.from_buffer(mmap_file)
    for i in data:
        Xmin = i.Xmin
        Xmax = Xmin + i.tileX
        Ymax = i.Ymax
        Ymin = Ymax - i.tileY
        Zmax = i.Zmax

我发现第二个更快。

我要解决的问题是编写新二进制文件的最快方法。我知道怎么写 struct.pack:

f = open(filePath, 'wb')
line = struct.pack("i", 500000)+struct.pack("i", 4000000)
f.write(line)
f.close()

但我想知道是否有更快的方法（或类似于 mmap + from_buffer 但用于写作的方法）。

谢谢。

巴勃罗.

Answer 1

最快的方法之一是使用 NumPy。创建一个数组并将其直接写入文件，或者使用他们的 memmap() 函数。

使用 Python/Cython 写入二进制文件的更快方法

Faster way to write binary file with Python/Cython

python

struct

mmap

binaryfiles

cython