完成时使用 python ThreadPool 关闭资源

Shutting down resources with python ThreadPool on completion

我有一个使用 pathos ProcessPool 的脚本在多个数据点上并行执行一个函数 data()

名为 data() 的函数计算并将结果发送到名为 Database 的单个对象,并且由于大量推送被发送到数据库,所以我添加了一个简单的队列,当队列大小时大于 500,它被推送到数据库。

当所有的数据点已经被映射但是在classDatabase的队列中仍然有一些数据时出现问题(在每个进程中,进程1可能有100个进程2 可能有 200 个)。

我编写了一个在退出时刷新的函数,但是如何在所有进程上调用该函数?

多处理中有 Manager 让您一次性访问进程存储的数据,而不是使用队列。

你可以看看here