将 Sidekiq 与 100 多个队列一起使用时，我会遇到哪些类型的问题？

Question

Sidekiq 文档recommends against having more than a few queues.我正在考虑尝试迁移当前使用 107 个队列的 Resque 设置。

谁能更详细地解释为什么我不应该将 Sidekiq 与 107 队列一起使用？上面的链接文档只是说 Sidekiq 是 "is not designed to work well with dozens of queues."

重新构建现有的应用程序并非不可能，但这会使 Sidekiq 对我们来说更难销售。

Answer 1

Sidekiq 有一个 Fetcher 可以从 Redis 中的队列中提取作业。

对于 Sidekiq 来说，你的设置应该不会太糟糕，但 Sidekiq Pro 的可选可靠 Fetcher 每个进程每秒 会对 Redis 进行 107 次 处理，因为 Redis 没有一种可靠地阻塞多个队列的方法。这种繁重的轮询会破坏您的可扩展性。

所以你可以用 Sidekiq 做到这一点。您可以使用 Sidekiq Pro 做到这一点。在队列倒计时之前不要打开可靠提取。