SQL 服务器 (RDS) 交易实时流式传输到 NoSQL

Realtime Streaming of SQL SERVER (RDS) transactions to NoSQL

我有一种情况,我想将所有更新、删除和插入从我的 AWS RDS SQL 服务器流式传输到 NoSQL 数据库,例如 DynamoDB 或 RethinkDB。

我想要实现的是将我的用户分为关键和非关键数据库,以减少我的 rds 服务器上的负载,并使用 rethinkdb 或 dynamodb 流等技术将另一组数据(非关键)发送到前端结束。

我想过各种办法:

  1. 最明显的是在两个数据库中异步输入,尽管我最终可能会遇到其中一个条目可能失败的情况。

  2. 二是使用RabbitMQ或者queing service aws sqs查询第二个入口,确保插入。

  3. (我想要实现的)是如果 nodejs 服务可以以某种方式侦听 mssql 流并将内容推送到 nosql。

遇到这种情况怎么办?

我正在寻找的利润是在 nosql 中存储一个数据集,该数据集可以提供给超过 100k 的用户,因为他们都希望看到相同的数据,只是一些 where 子句发生变化并且是实时的。这反过来会将 RDS 服务器事务减少到最少的读取和写入。

您可以使用以下两种方法:

  1. AWS DMS

  2. 或者,combining EMR, Amazon Kinesis, and Lambda (with custom scripts)