RabbitMQ 延迟交换插件加载和资源

Question

我们正在使用 rabbitmq (3.6.6) 将分析（数百万）发送到不同的分析器。这些非常快，我们计划使用 rabbit-message-plugin 来安排对分析元素的监控。

我们在考虑 rabbitmq-delayed-exchange-plugin，已经做了一些测试，我们需要一些说明。

目前：

我们正在安排数百万条消息
延迟从几分钟到 24 小时不等
如前所述，这些是测试，所以我们使用的是一台具有一个内核和 4G RAM 的机器，上面还有其他应用程序运行。

在 2.0G 设置高内存水印发生了什么：

RabbitMQ 最终（一天左右）开始消耗 100%（只有一个核心）并且不响应管理界面也不响应 rabbitmqctl。这持续了至少 18 小时（总是结束，删除磁盘上的 mnesia 延迟文件 - 大约 100 / 200 MB - 并重新启动）。

设置3.6G的高内存水印发生了什么：

RabbitMQ 被内核杀死，因为在这样工作大约一周后内存使用率过高（4 GB 硬件）。
延迟交换的Mnesia文件约1.5G

RabbitMQ 无法再启动下面的跟踪（我们假设由于在延迟中被 KILL 消息终止以某种方式结束 corrupted 或某事

{could_not_start,rabbit,
rabbitmq-server[12889]: {{case_clause,{timeout,['rabbit_delayed_messagerabbit@rabbitNode']}},
rabbitmq-server[12889]: [{rabbit_boot_steps,'-run_step/2-lc$^1/1-1-',1,

现在我们问自己：我们使用 rabbit delayed exchange plugin 来处理如此大量的信息是否有点过头了？如果是，那么问题结束，重新考虑并重新启动，但如果不是，合适的硬件 and/or 配置设置可能是什么？

Answer 1

RabbitMQ 延迟交换插件的设计不适合存储数百万条消息。

也记录在plugin page

Current design of this plugin doesn't really fit scenarios with a high number of delayed messages (e.g. 100s of thousands or millions). See 72 for details.

另请阅读此处：https://github.com/rabbitmq/rabbitmq-delayed-message-exchange/issues/72

This plugin is often used as if RabbitMQ was a database. It is not.

RabbitMQ 延迟交换插件加载和资源

RabbitMQ delayed exchange plugin loads and resources

rabbitmq

rabbitmq-exchange