在芹菜中扩展周期性任务

Scaling periodic tasks in celery

我们在 celery 中设置了 10 个队列,一个大型设置每个队列有一组 5 到 10 个任务,每个队列 运行 在专用机器上运行,一些在多台机器上进行扩展。

另一方面,我们有一堆周期性任务,运行在具有单个实例的单独机器上运行,一些周期性任务需要很长时间才能执行,我想 运行 他们在 10 个队列中。

有没有办法缩放 celery beat 或纯粹使用它来触发不同目的地的任务"one of the 10 queues"?

请指教?

使用celery routing将任务分派到你需要的地方: