Python：read/unpack 12 位小端打包数据的快速方法

Question

如何加快读取 Python 中的 12 位小端打包数据？

以下代码基于，可以运行，但耗时太长。

import bitstring
import numpy as np

# byte_string read from file contains 12 bit little endian packed image data
# b'\xAB\xCD\xEF' -> pixel 1 = 0x0DAB, pixel 2 = Ox0EFC
# width, height equals image with height read
image = np.empty(width*height, np.uint16)

ic = 0
ii = np.empty(width*height, np.uint16)
for oo in range(0,len(byte_string)-2,3):    
    aa = bitstring.BitString(byte_string[oo:oo+3])
    aa.byteswap()
    ii[ic+1], ii[ic] = aa.unpack('uint:12,uint:12')
    ic=ic+2

Answer 1

这应该会更好一些：

for oo in range(0,len(byte_string)-2,3):
    (word,) = struct.unpack('<L', byte_string[oo:oo+3] + b'\x00')
    ii[ic+1], ii[ic] = (word >> 12) & 0xfff, word & 0xfff
    ic += 2

它非常相似，但是它没有使用相当慢的 bitstring，而是使用一次调用 struct.unpack 来一次提取 24 位（用零填充以便它可以读取为长），然后进行一些位掩码以提取两个不同的 12 位部分。

Answer 2

我找到了一个解决方案，它在我的系统上的执行速度比上面提到的解决方案快得多，这已经是一个很大的改进（使用问题中的代码需要 2 秒而不是 2 分钟）。使用下面的代码加载我的图像文件之一大约需要 45 毫秒，而不是使用上述解决方案大约 2 秒。

import numpy as np
import math

image = np.frombuffer(byte_string, np.uint8)
num_bytes = math.ceil((width*height)*1.5)
num_3b = math.ceil(num_bytes / 3)
last = num_3b * 3
image = image[:last]
image = image.reshape(-1,3)
image = np.hstack( (image, np.zeros((image.shape[0],1), dtype=np.uint8)) )
image.dtype='<u4' # 'u' for unsigned int
image = np.hstack( (image, np.zeros((image.shape[0],1), dtype=np.uint8)) )
image[:,1] = (image[:,0] >> 12) & 0xfff
image[:,0] = image[:,0] & 0xfff
image = image.astype(np.uint16)
image = image.reshape(height, width)

Python：read/unpack 12 位小端打包数据的快速方法

Python: Fast way to read/unpack 12 bit little endian packed data

python

binary

unpack