使用 Queue() 在分布式应用程序中与 python 共享文件

Using Queue() to share files in a distributed application with python

大师:

有多个文件,他需要为每个文件应用相同的函数,所以我将每个文件视为一个作业,并将它们放入 Queue()。

工人:

每个进程从共享队列中获取一个作业并处理其中的文件和 return 已处理的文件。

我的问题是:

我是否必须将文件从 master 发送到 worker 或仅与 Queue() 共享?

供参考:此处的文件是一个视频序列。

你在这里能做的最好的事情,顺便说一下,真的很抽象,就是共享 Queue(),并且每个工作人员都询问“是否有事情要做,否则他们会睡觉(锁定)