合并从 python 多进程调用函数返回的数据帧
Combine dataframes returned from python multiprocess calling function
from multiprocessing import Pool
with Pool(processes=6) as p:
p.starmap(update_tabl, zip(r))
我正在使用此处概述的方法：https://web.archive.org/web/20170625154652/http://n-s-f.github.io/2016/12/23/starmap-pattern.html 并行调用一个函数 update_table，returns 一个数据帧作为输出。
如何连接所有这些数据帧？如果我使用的是 for 循环，我可以使用 pd.concat 但不确定如何并行执行
您可以对星图的结果进行连接：
with Pool(processes=6) as p:
res = pd.concat(p.starmap(update_table, zip(rows)))
# do stuff with res
连接不会并行发生，但一旦星图完成。
from multiprocessing import Pool
with Pool(processes=6) as p:
p.starmap(update_tabl, zip(r))
我正在使用此处概述的方法：https://web.archive.org/web/20170625154652/http://n-s-f.github.io/2016/12/23/starmap-pattern.html 并行调用一个函数 update_table，returns 一个数据帧作为输出。
如何连接所有这些数据帧？如果我使用的是 for 循环，我可以使用 pd.concat 但不确定如何并行执行
您可以对星图的结果进行连接：
with Pool(processes=6) as p:
res = pd.concat(p.starmap(update_table, zip(rows)))
# do stuff with res
连接不会并行发生，但一旦星图完成。