将文件传输到消息代理

Question

我们正在使用前端程序设置数据库，该程序解析 csv 文件并将它们转储到数据库中。文件同时来自多个位置，如果出现任何问题，需要持久化。

像 rabbitmq 这样的消息代理是一个很好的应用程序吗？我需要一个可以从后端读​​取的某种队列。

Answer 1

Is a message broker like rabbitmq a good application for this?

是的，但我不建议您将大文件发送到 RabbitMQ，尤其是当您想要使用持久消息时。如果是这种情况，我会将文件保存到存储（云、缓存等）并在消息中发送其 name/path。工作进程将获取一条消息，然后下载一个文件，对其进行解析并将其内容保存到数据库中。这样您就可以在工作进程之间分发文件并减少代理的负载。它可以让您轻松扩展。