简单 Python Spyder 中的多处理函数不输出结果
Simple Python Multiprocessing function in Spyder doesn't output results
我这里有一个非常简单的函数,我在其中尝试 运行 并进行测试,但是,它没有输出任何内容,也没有任何错误。
我已经多次检查代码,但没有任何错误。
我打印了作业,这是我得到的:
[<Process(Process-12, stopped[1])>,
<Process(Process-13, stopped[1])>,
<Process(Process-14, stopped[1])>,
<Process(Process-15, stopped[1])>,
<Process(Process-16, stopped[1])>]
代码如下:
import multiprocessing
def worker(num):
print "worker ", num
return
jobs = []
for i in range(5):
p = multiprocessing.Process(target = worker, args = (i,))
jobs.append(p)
p.start()
这是我期待的结果,但它没有输出任何内容:
Worker: 0
Worker: 1
Worker: 2
Worker: 3
Worker: 4
评论显示 OP 使用 Windows 以及 Spyder。由于 Spyder 重定向 stdout
并且 Windows 不支持 forking,新的子进程不会打印到 Spyder 控制台。这仅仅是因为新子进程的 stdout
是 Python 的原始标准输出,也可以在 sys.__stdout__
.
中找到
有两种选择:
使用logging模块。这将包括创建所有消息并将其记录到一个或多个文件中。使用单个日志文件可能会导致输出出现轻微乱码的问题,因为进程会同时写入文件。每个进程使用一个文件可以解决这个问题。
在子进程中没有使用print
,只是将结果返回给主进程。通过使用 queue (or multiprocessing.Manager().Queue()
since forking is not possible) or more simply by relying on the multiprocessing Pool's map
功能,请参见下面的示例。
带池的多处理示例:
import multiprocessing
def worker(num):
"""Returns the string of interest"""
return "worker %d" % num
def main():
pool = multiprocessing.Pool(4)
results = pool.map(worker, range(10))
pool.close()
pool.join()
for result in results:
# prints the result string in the main process
print(result)
if __name__ == '__main__':
# Better protect your main function when you use multiprocessing
main()
打印(在主进程中)
worker 0
worker 1
worker 2
worker 3
worker 4
worker 5
worker 6
worker 7
worker 8
worker 9
编辑:如果您迫不及待地等待 map
函数完成,您可以使用 imap_unordered
并稍微更改命令的顺序立即打印结果:
def main():
pool = multiprocessing.Pool(4)
results = pool.imap_unordered(worker, range(10))
for result in results:
# prints the result string in the main process as soon as say are ready
# but results are now no longer in order!
print(result)
# The pool should join after printing all results
pool.close()
pool.join()
我这里有一个非常简单的函数,我在其中尝试 运行 并进行测试,但是,它没有输出任何内容,也没有任何错误。 我已经多次检查代码,但没有任何错误。
我打印了作业,这是我得到的:
[<Process(Process-12, stopped[1])>,
<Process(Process-13, stopped[1])>,
<Process(Process-14, stopped[1])>,
<Process(Process-15, stopped[1])>,
<Process(Process-16, stopped[1])>]
代码如下:
import multiprocessing
def worker(num):
print "worker ", num
return
jobs = []
for i in range(5):
p = multiprocessing.Process(target = worker, args = (i,))
jobs.append(p)
p.start()
这是我期待的结果,但它没有输出任何内容:
Worker: 0
Worker: 1
Worker: 2
Worker: 3
Worker: 4
评论显示 OP 使用 Windows 以及 Spyder。由于 Spyder 重定向 stdout
并且 Windows 不支持 forking,新的子进程不会打印到 Spyder 控制台。这仅仅是因为新子进程的 stdout
是 Python 的原始标准输出,也可以在 sys.__stdout__
.
有两种选择:
使用logging模块。这将包括创建所有消息并将其记录到一个或多个文件中。使用单个日志文件可能会导致输出出现轻微乱码的问题,因为进程会同时写入文件。每个进程使用一个文件可以解决这个问题。
在子进程中没有使用
print
,只是将结果返回给主进程。通过使用 queue (ormultiprocessing.Manager().Queue()
since forking is not possible) or more simply by relying on the multiprocessing Pool'smap
功能,请参见下面的示例。
带池的多处理示例:
import multiprocessing
def worker(num):
"""Returns the string of interest"""
return "worker %d" % num
def main():
pool = multiprocessing.Pool(4)
results = pool.map(worker, range(10))
pool.close()
pool.join()
for result in results:
# prints the result string in the main process
print(result)
if __name__ == '__main__':
# Better protect your main function when you use multiprocessing
main()
打印(在主进程中)
worker 0
worker 1
worker 2
worker 3
worker 4
worker 5
worker 6
worker 7
worker 8
worker 9
编辑:如果您迫不及待地等待 map
函数完成,您可以使用 imap_unordered
并稍微更改命令的顺序立即打印结果:
def main():
pool = multiprocessing.Pool(4)
results = pool.imap_unordered(worker, range(10))
for result in results:
# prints the result string in the main process as soon as say are ready
# but results are now no longer in order!
print(result)
# The pool should join after printing all results
pool.close()
pool.join()