为什么压缩函数和可迭代的结果不起作用？

Question

所以我有以下代码可以正常工作：

from  concurrent.futures import ProcessPoolExecutor 
import itertools

def grid_search_helper(vec_input):
    v1 = vec_input[0]
    v2 = vec_input[1]
    v3 = vec_input[2]
    d = {'v1' : v1, 'v2' : v2, 'v3' : v3}
    return(d)

idx = range(0,10)
cutoff = np.ndarray.tolist(np.arange(0.6,0.95,0.05))
opt = [2]

iters = itertools.product(idx, cutoff, opt)

with ProcessPoolExecutor(max_workers = 11) as executor:
        for  res in executor.map(grid_search_helper,iters):
            print(res)

然后我尝试 zip() 来打印 ProcessPoolExecuter 正在处理的可迭代对象，但是当我运行以下代码时没有打印任何内容：

from  concurrent.futures import ProcessPoolExecutor 
import itertools

def grid_search_helper(vec_input):
    v1 = vec_input[0]
    v2 = vec_input[1]
    v3 = vec_input[2]
    d = {'v1' : v1, 'v2' : v2, 'v3' : v3}
    return(d)

idx = range(0,10)
cutoff = np.ndarray.tolist(np.arange(0.6,0.95,0.05))
opt = [2]

iters = itertools.product(idx, cutoff, opt)

with ProcessPoolExecutor(max_workers = 11) as executor:
        for  res, itr in zip(executor.map(grid_search_helper,iters), iters):
            print(res, itr)

我不明白为什么。有人可以帮忙吗？

Answer 1

这与您压缩函数和迭代器无关。

问题是您使用了同一个迭代器两次：

#                                                      v       v
for res, itr in zip(executor.map(grid_search_helper, iters), iters):
    ...

第一次传递给 map 时，它被消耗掉了。当它再次传递给 zip 时，它已经是空的，所以 zip returns 一个空的生成器，没有什么可以迭代的。

使用itertools.tee创建同一个迭代器的两个副本。

it1, it2 = itertools.tee(itertools.product(idx, cutoff, opt))

with ProcessPoolExecutor(max_workers = 11) as executor:
    for  res, itr in zip(executor.map(grid_search_helper,it1), it2):
        print(res, itr)

Answer 2

当它尝试执行 zip(..., iters) 时，先前填充的 iters 已经是空的，因为 executor.map(grid_search_helper, iters) 已经消耗了它的所有项目。

所以你实际上是将一个空迭代器传递给 zip()。

为什么压缩函数和可迭代的结果不起作用？

why zipping the result of a function and iterable does not work?

python

parallel-processing

itertools

process-pool