使用 Queue() 在分布式应用程序中与 python 共享文件
Using Queue() to share files in a distributed application with python
大师:
有多个文件,他需要为每个文件应用相同的函数,所以我将每个文件视为一个作业,并将它们放入 Queue()。
工人:
每个进程从共享队列中获取一个作业并处理其中的文件和 return 已处理的文件。
我的问题是:
我是否必须将文件从 master 发送到 worker 或仅与 Queue() 共享?
供参考:此处的文件是一个视频序列。
你在这里能做的最好的事情,顺便说一下,真的很抽象,就是共享 Queue(),并且每个工作人员都询问“是否有事情要做,否则他们会睡觉(锁定)
大师:
有多个文件,他需要为每个文件应用相同的函数,所以我将每个文件视为一个作业,并将它们放入 Queue()。
工人:
每个进程从共享队列中获取一个作业并处理其中的文件和 return 已处理的文件。
我的问题是:
我是否必须将文件从 master 发送到 worker 或仅与 Queue() 共享?
供参考:此处的文件是一个视频序列。
你在这里能做的最好的事情,顺便说一下,真的很抽象,就是共享 Queue(),并且每个工作人员都询问“是否有事情要做,否则他们会睡觉(锁定)