从文件中解压位（子字节）数的最快方法

Question

给定一个包含分辨率压缩二进制数据的文件，我想将子字节位转换为它们在 python 中的整数表示。我的意思是我需要将文件中的 n 位解释为整数。

目前我正在将文件读入 bitarray 个对象，并将对象的子集转换为整数。该过程有效，但相当缓慢且繁琐。有没有更好的方法来做到这一点，也许使用 struct 模块？

import bitarray

bits = bitarray.bitarray()
with open('/dir/to/any/file.dat','r') as f:
    bits.fromfile(f,2) # read 2 bytes into the bitarray

    ## bits 0:4 represent a field
    field1 = int(bits[0:4].to01(), 2)  # Converts to a string of 0s and 1s, then int()s the string

    ## bits 5:7 represent a field
    field2 = int(bits[4:7].to01(), 2)

    ## bits 8:16 represent a field
    field3 = int(bits[7:16].to01(), 2)

print """All bits: {bits}\n\tfield1: {b1}={field1}\n\tfield2: {b2}={field2}\n\tfield3: {b3}={field3}""".format(
        bits=bits, b1=bits[0:4].to01(), field1=field1, 
        b2=bits[4:7].to01(), field2=field2,
        b3=bits[7:16].to01(), field3=field3)

输出：

All bits: bitarray('0000100110000000')
    field1: 0000=0
    field2: 100=4
    field3: 110000000=384

Answer 1

如果您可以使用某人的模块，看起来 bitstring 模块具有良好的位表示和操作：http://pythonhosted.org/bitstring/index.html

例如，如果您知道字段的大小，则可以使用格式字符串： http://pythonhosted.org/bitstring/reading.html#reading-using-format-strings

import bitstring
bitstream = bitstring.ConstBitStream(filename='testfile.bin')
field1, field2, field3 = bitstream.readlist('int:4, int:3, int:9')

如果您不知道您的字段大小，您可以读取所有位，然后使用切片提取所有字段：http://pythonhosted.org/bitstring/slicing.html

import bitstring
bitstream = bitstring.ConstBitStream(filename='testfile.bin')
bits = bitstring.BitArray(bitstream)
field1 = bits[0:4].int
field2 = bits[4:7].int
field3 = bits[7:16].int

想一想，您可能已经找到了这个模块。

Answer 2

这应该适用于您的具体情况：

#bitmasks of fields 1-3, they fit in 2 bytes
FIELD1 = 0b1111000000000000 # first 4 bits
FIELD2 = 0b0000111000000000 # next 3 bits
FIELD3 = 0b0000000111111111 # last 9 bits

def bytes_to_int(num):  #convert bytes object to an int
    res = 0
    num = num[::-1]  # reverse the bytes
    for i in range(len(num)):
        res += num[i] * (256**i)
    return res

def get_fields(f):
    chunk = bytes_to_int(f.read(2))  # read 2 bytes, f1-f3, convert to int
    f1 = (chunk & FIELD1) >> 12  # get each field with its bitmask
    f2 = (chunk & FIELD2) >> 9
    f3 = chunk & FIELD3
    f4 = f.read(f3)  # field4 as a bytes object

    return f1, f2, f3, f4

file = open('file.dat','rb')

#using your sample data
print(get_fields(file))  # returns 0, 4, 384, field4 as a bytes obj

file.close()

从文件中解压位（子字节）数的最快方法

Fastest way to unpack bits (sub-byte) numbers from file

python

file

binary

bits