在芹菜中扩展周期性任务
Scaling periodic tasks in celery
我们在 celery 中设置了 10 个队列,一个大型设置每个队列有一组 5 到 10 个任务,每个队列 运行 在专用机器上运行,一些在多台机器上进行扩展。
另一方面,我们有一堆周期性任务,运行在具有单个实例的单独机器上运行,一些周期性任务需要很长时间才能执行,我想 运行 他们在 10 个队列中。
有没有办法缩放 celery beat 或纯粹使用它来触发不同目的地的任务"one of the 10 queues"?
请指教?
使用celery routing将任务分派到你需要的地方:
我们在 celery 中设置了 10 个队列,一个大型设置每个队列有一组 5 到 10 个任务,每个队列 运行 在专用机器上运行,一些在多台机器上进行扩展。
另一方面,我们有一堆周期性任务,运行在具有单个实例的单独机器上运行,一些周期性任务需要很长时间才能执行,我想 运行 他们在 10 个队列中。
有没有办法缩放 celery beat 或纯粹使用它来触发不同目的地的任务"one of the 10 queues"?
请指教?
使用celery routing将任务分派到你需要的地方: