如何在 'joblib' Python 库中共享变量

Question

from joblib import Parallel, delayed

def func(v):
    temp.append(v)
    return

temp = []
Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

我想创建共享内存变量。但是temp的值为空[]。我该怎么做？

对于其他方法，我尝试了 pickle.dump 并加载。但是有一个锁定问题。请多多指教！

Answer 1

from joblib import Parallel, delayed

def func(v):
    return v

temp = Parallel(n_jobs=4)(delayed(func)(v) for v in range(10))
print temp

delayed 将 func 返回的输出收集到一个列表中，并在完成时 returns 收集它。

Answer 2

您需要使用multiprocessing.Manager.list，例如：

from joblib import Parallel, delayed
from multiprocessing import Manager

manager = Manager()
temp = manager.list()

def func(v, temp):
    temp.append(v)
    return

_ = Parallel(n_jobs=4)(delayed(func)(v, temp) for v in range(10))

temp[:]:

[0, 1, 2, 3, 4, 5, 6, 7, 8, 9]

如何在 'joblib' Python 库中共享变量

How to share a variable in 'joblib' Python library

python

parallel-processing

joblib