Python multiprocessing (joblib) 参数传递的最佳方式

Question

我注意到在使用多处理（使用 joblib）时有一个巨大的延迟。这是我的代码的简化版本：

import numpy as np
from joblib import Parallel, delayed

class Matcher(object):
    def match_all(self, arr1, arr2):
        args = ((elem1, elem2) for elem1 in arr1 for elem2 in arr2)

        results = Parallel(n_jobs=-1)(delayed(_parallel_match)(self, e1, e2) for e1, e2 in args)
        # ...

    def match(self, i1, i2):
        return i1 == i2

def _parallel_match(m, i1, i2):
    return m.match(i1, i2)

matcher = Matcher()
matcher.match_all(np.ones(250), np.ones(250))

因此，如果我运行如上所示，大约需要 30 秒才能完成并使用将近 200Mb。如果我只是在 Parallel 中更改参数 n_jobs 并将其设置为 1，则只需要 1.80 秒并且几乎不使用 50Mb...

我想这一定与我传递参数的方式有关，但还没有找到更好的方法...

我正在使用 Python 2.7.9

Answer 1

我在不使用 joblib 库的情况下重写了代码，现在它可以像预期的那样工作，尽管不是这样 "beautiful" 代码：

import itertools
import multiprocessing
import numpy as np


class Matcher(object):
    def match_all(self, a1, a2):
        args = ((elem1, elem2) for elem1 in a1 for elem2 in a2)
        args = zip(itertools.repeat(self), args)

        pool = multiprocessing.Pool()
        results = np.fromiter(pool.map(_parallel_match, args))
        # ...

    def match(self, i1, i2):
        return i1 == i2

def _parallel_match(*args):
    return args[0][0].match(*args[0][1:][0])

matcher = Matcher() 
matcher.match_all(np.ones(250), np.ones(250))

这个版本非常棒，只需 0.58 秒即可完成...

那么，为什么它不能与 joblib 一起工作？无法真正理解它，但我猜 joblib 正在为每个进程复制整个数组...

Python multiprocessing (joblib) 参数传递的最佳方式

Python multiprocessing (joblib) best way for argument passing

python

numpy

python-multiprocessing

joblib