使用 multiprocessing.pool 嵌套 for 循环

Question

当迭代器为运行且每个迭代器为运行时，我必须使用嵌套 for 循环来解决特定问题。我正在尝试针对超参数的不同值（这里是 T）执行它。我正在尝试使用 multiprocessing.pool 方法并行化此过程（3 个过程）。但是我不知道如何实现它。

def simulate(T,runs,time,param1, param2, param3, param4):
for i in tqdm(range(runs)):
    #Reset parameters
    for j in range(time):
        #Do some mathematics
#Some more mathematics
return (some output)

可以看出函数的参数个数很多。所以我也不确定如何加入 functools.partial。有什么指导方针吗？

Answer 1

如果我没理解错的话，您想运行 simulate() 方法具有不同的 T 值并比较结果。要使用多处理实现这一点，您只需要设置一个具有正确数量进程的池，并在 T 值列表上使用 map 到运行您的函数。您还需要使用 partial 将您的函数从一个接受七个参数的函数转换为一个只需要一个参数的函数，而其他六个参数为常量。这很重要，因为 map 需要知道正在变化的参数是哪个参数。这是一个（未经测试的）示例：

import multiprocessing as mp
from functools import partial

# Create pool with desired number of processes
pool = mp.Pool( processes=3 )
# Make a partial function with preset values for params
partial_function = partial( simulate, runs=runs, 
   time=time, param1=param1, param2=param2, 
   param3=param3, param4=param4 )
# Dummy values for what T should be
options_for_T = [100, 200, 300, 400, 500, 600]
# Results will be a list of the output of simulate() for each T
results = pool.map( partial_function, options_for_T )

编辑：我还应该指出，在这里使用 tqdm 可能会适得其反，因为您的所有流程都会互相讨论

使用 multiprocessing.pool 嵌套 for 循环

Nested for loop using multiprocessing.pool

python

for-loop

multiprocessing

nested-loops

pool