多处理:地图与 map_async
multiprocessing: map vs map_async
使用map
和map_async
有什么区别?将列表中的项目分配给 4 个进程后,它们不是 运行 相同的功能吗?
所以假设两者都是 运行 异步和并行是错误的吗?
def f(x):
return 2*x
p=Pool(4)
l=[1,2,3,4]
out1=p.map(f,l)
#vs
out2=p.map_async(f,l)
将作业映射到流程有四种选择。您必须考虑多参数、并发、阻塞和排序。 map
和 map_async
仅在阻塞方面有所不同。 map_async
是非阻塞的,而 map
是阻塞的
假设你有一个函数
from multiprocessing import Pool
import time
def f(x):
print x*x
if __name__ == '__main__':
pool = Pool(processes=4)
pool.map(f, range(10))
r = pool.map_async(f, range(10))
# DO STUFF
print 'HERE'
print 'MORE'
r.wait()
print 'DONE'
示例输出:
0
1
9
4
16
25
36
49
64
81
0
HERE
1
4
MORE
16
25
36
9
49
64
81
DONE
pool.map(f, range(10))
将等待所有 10 个函数调用完成,以便我们连续看到所有打印件。
r = pool.map_async(f, range(10))
将异步执行它们并且仅在调用 r.wait()
时阻塞,因此我们看到 HERE
和 MORE
介于两者之间,但 DONE
将始终在最后。
使用map
和map_async
有什么区别?将列表中的项目分配给 4 个进程后,它们不是 运行 相同的功能吗?
所以假设两者都是 运行 异步和并行是错误的吗?
def f(x):
return 2*x
p=Pool(4)
l=[1,2,3,4]
out1=p.map(f,l)
#vs
out2=p.map_async(f,l)
将作业映射到流程有四种选择。您必须考虑多参数、并发、阻塞和排序。 map
和 map_async
仅在阻塞方面有所不同。 map_async
是非阻塞的,而 map
是阻塞的
假设你有一个函数
from multiprocessing import Pool
import time
def f(x):
print x*x
if __name__ == '__main__':
pool = Pool(processes=4)
pool.map(f, range(10))
r = pool.map_async(f, range(10))
# DO STUFF
print 'HERE'
print 'MORE'
r.wait()
print 'DONE'
示例输出:
0
1
9
4
16
25
36
49
64
81
0
HERE
1
4
MORE
16
25
36
9
49
64
81
DONE
pool.map(f, range(10))
将等待所有 10 个函数调用完成,以便我们连续看到所有打印件。
r = pool.map_async(f, range(10))
将异步执行它们并且仅在调用 r.wait()
时阻塞,因此我们看到 HERE
和 MORE
介于两者之间,但 DONE
将始终在最后。