从 MySQL 到 NoSQL 键值存储的数据同步

Question

我有一个遗留系统，后端是 MySQL，主要编程语言是 python。

最近我们有一个场景，我们需要显示一个仪表板，其中包含 MySQL 数据库中的信息。 table 中的数据每秒都在变化。

这可以被认为类似于人们不断出价的出价应用程序。每次用户出价时，记录都会进入数据库。当用户更新他的出价时，它会更新以前的值。

我也有几个客户监视这个更新统计信息的仪表板。

• 我需要在人们实时出价时实时订购这些数据。
• 我不喜欢 运行 对 MySQL 的查询，因为在任何时候我都可能有很少的 1000 个客户端查询数据库。这将对数据库造成负载。

请指教

Answer 1

如果您需要实时收集和排序数据，您应该查看 Aerospike 中的原子 ordered map and ordered list 操作。

我在 rbotzer/aerospike-cdt-examples 有使用 KV 有序映射的例子。

您可以使用类似的方法，以用户 ID 为键，出价是结构为 [1343, { foo: bar, ts: 1234, this: that} ] 的列表。以美分（整数）为单位的出价金额是列表的第一个元素，所有其他信息都在第二个元素位置的映射中。

这将允许您通过单个地图操作更新用户出价，通过单个操作取回用户出价，按排名（在出价金额上）排序以获得排序最高的出价，获得所有出价在特定范围内，等等。每个项目都有一个记录，所有出价都在这个 KV 排序的地图中。