完成时使用 python ThreadPool 关闭资源
Shutting down resources with python ThreadPool on completion
我有一个使用 pathos ProcessPool 的脚本在多个数据点上并行执行一个函数 data()
。
名为 data()
的函数计算并将结果发送到名为 Database
的单个对象,并且由于大量推送被发送到数据库,所以我添加了一个简单的队列,当队列大小时大于 500,它被推送到数据库。
当所有的数据点已经被映射但是在classDatabase
的队列中仍然有一些数据时出现问题(在每个进程中,进程1可能有100个进程2 可能有 200 个)。
我编写了一个在退出时刷新的函数,但是如何在所有进程上调用该函数?
多处理中有 Manager
让您一次性访问进程存储的数据,而不是使用队列。
你可以看看here
我有一个使用 pathos ProcessPool 的脚本在多个数据点上并行执行一个函数 data()
。
名为 data()
的函数计算并将结果发送到名为 Database
的单个对象,并且由于大量推送被发送到数据库,所以我添加了一个简单的队列,当队列大小时大于 500,它被推送到数据库。
当所有的数据点已经被映射但是在classDatabase
的队列中仍然有一些数据时出现问题(在每个进程中,进程1可能有100个进程2 可能有 200 个)。
我编写了一个在退出时刷新的函数,但是如何在所有进程上调用该函数?
多处理中有 Manager
让您一次性访问进程存储的数据,而不是使用队列。
你可以看看here