python 中的词典理解太全面了

Question

使用python2.7 我发现了一个奇怪的时间执行案例：

data = dict( zip( a[0].split( ':' ), a[1].split( ':' ) ) )

data = { name: value for name, value in zip(a[0].split( ':' ), a[1].split( ':' )) }

这两个调用对我来说似乎完全一样，但是，我发现字典理解版本快了大约 4% - 不是太多，但非常稳定。

这是真的吗？如果是，为什么？还是我的想象？

Answer 1

您输入的样本太小。查找全局名称 dict() 比运行字典理解（后者不需要名称查找）花费更多的时间，但是如果你测试 large 键值对的数量 dict() 获胜，因为循环完全在 C 中完成。

针对大量个键值对测试差异，并将测试减少到仅 dict() 调用或字典理解（zip() 和 str.split() 调用在这两种情况下只执行一次，可以忽略）：

>>> from timeit import timeit
>>> import random
>>> from string import ascii_lowercase
>>> kv_pairs = [(''.join(random.sample(ascii_lowercase, random.randint(10, 20))), ''.join(random.sample(ascii_lowercase, random.randint(10, 20))))
...             for _ in xrange(10000)]
>>> len(dict(kv_pairs))  # the random keys happen to be all unique.
10000
>>> timeit('{k: v for k, v in kv_pairs}', 'from __main__ import kv_pairs', number=1000)
1.3174479007720947
>>> timeit('dict(kv_pairs)', 'from __main__ import kv_pairs', number=1000)
0.6737580299377441
>>> timeit('{k: v for k, v in kv_pairs}', 'from __main__ import kv_pairs; kv_pairs = kv_pairs[:3]')
0.511167049407959
>>> timeit('dict(kv_pairs)', 'from __main__ import kv_pairs; kv_pairs = kv_pairs[:3]')
0.6696300506591797

因此对于 10k 键值对（前两个计时测试），dict() 是两倍快，对于仅 3 对（后两个计时），字典理解获胜。

反编译字节码就知道为什么了；字典理解使用嵌套代码对象来实现实际的字典构建：

>>> import dis
>>> dis.dis(compile('{k: v for k, v in kv_pairs}', '', 'exec'))
  1           0 LOAD_CONST               0 (<code object <dictcomp> at 0x102ef69b0, file "", line 1>)
              3 MAKE_FUNCTION            0
              6 LOAD_NAME                0 (kv_pairs)
              9 GET_ITER            
             10 CALL_FUNCTION            1
             13 POP_TOP             
             14 LOAD_CONST               1 (None)
             17 RETURN_VALUE        
>>> dis.dis(compile('{k: v for k, v in kv_pairs}', '', 'exec').co_consts[0])
  1           0 BUILD_MAP                0
              3 LOAD_FAST                0 (.0)
        >>    6 FOR_ITER                21 (to 30)
              9 UNPACK_SEQUENCE          2
             12 STORE_FAST               1 (k)
             15 STORE_FAST               2 (v)
             18 LOAD_FAST                2 (v)
             21 LOAD_FAST                1 (k)
             24 MAP_ADD                  2
             27 JUMP_ABSOLUTE            6
        >>   30 RETURN_VALUE        
>>> dis.dis(compile('dict(kv_pairs)', '', 'exec'))
  1           0 LOAD_NAME                0 (dict)
              3 LOAD_NAME                1 (kv_pairs)
              6 CALL_FUNCTION            1
              9 POP_TOP             
             10 LOAD_CONST               0 (None)
             13 RETURN_VALUE

通过使用非常小的样本，您为 dict 赋予了 LOAD_NAME 步骤太多的权重；字典理解涉及更多的字节码，每次迭代都执行。

python 中的词典理解太全面了

Dictionary comprehensions in python are too comprehensive

python

performance

dictionary

dictionary-comprehension