当从该队列启动进程时,如何创建一个可以在执行时修改的队列系统
How do I create a queue system that can be modified in execution time while there are processes launched from this queue
我想创建一个队列系统,使我可以将一些要从命令控制台执行的命令排入队列。它们是神经网络训练命令,因此需要很长时间才能完成。这里的问题是它需要在执行时进行编辑,这样我就可以在队列中的最后一个进程结束后将更多进程加入队列。这是必需的,因为训练神经网络需要很多时间,我希望能够浪费更少的时间,并且能够在夜间训练 1 个以上的神经网络。
我尝试了一些多处理教程,但其中 none 帮助我解决了这个问题。
我已经想好了我的解决方案,它比我想象的要简单。
Just use files!.
如果我创建一个包含 1 列的 csv 作为我要执行的命令,我可以制作一个脚本来添加新命令或者自己修改它。然后,在我开始执行新命令之前,我使用 pandas 库读取 CSV,提取第一行,执行该命令,在它结束时删除它,就是这样!
我想创建一个队列系统,使我可以将一些要从命令控制台执行的命令排入队列。它们是神经网络训练命令,因此需要很长时间才能完成。这里的问题是它需要在执行时进行编辑,这样我就可以在队列中的最后一个进程结束后将更多进程加入队列。这是必需的,因为训练神经网络需要很多时间,我希望能够浪费更少的时间,并且能够在夜间训练 1 个以上的神经网络。
我尝试了一些多处理教程,但其中 none 帮助我解决了这个问题。
我已经想好了我的解决方案,它比我想象的要简单。
Just use files!.
如果我创建一个包含 1 列的 csv 作为我要执行的命令,我可以制作一个脚本来添加新命令或者自己修改它。然后,在我开始执行新命令之前,我使用 pandas 库读取 CSV,提取第一行,执行该命令,在它结束时删除它,就是这样!