运行 使用 Bull 和 Kue 的 50 个作业需要多少 Redis 内存使用量(大约)?

How much Redis memory usage (approximately) is required to run 50 jobs using Bull and Kue?

我正在尝试估计作业调度(主要是 spark 作业)的 redis 内存使用情况,Bull 和 Kue 是我们目前正在研究的两个选项。

redis 的存储开销很小。使用这么小的队列,它甚至可以压缩您的数据。您只需要弄清楚作业负载是什么样的。这将取决于您正在排队的工作类型。

在正常情况下,队列中的作业将具有正在执行的 class 的名称和一些编码为字符串的参数,通常为 JSON。这可能相当于几十个字节。让我们四舍五入,假设每个作业 1KB 是安全的。

作业大小 (<1KB) * 队列中的最大作业数 (50) = 所需 RAM (<50KB)

Redis 本身使用几 MB 的 RAM,所以这个数量是微不足道的。如果您的实际值不同,请调整以上等式。