MongoDB 到其他数据库同步

MongoDB to other DB syncing

我们计划将数据集合从 MongoDB 持续同步到另一个数据库(在本例中为 Cassandra)。

我正在考虑收听 mongo-oplog,然后将这些更改推送到 Cassandra。这是有风险的,因为来自 MongoDB 的数据可能对 Cassandra 无效,或者 Cassandra 集群随时崩溃。如果 Cassandra 出现故障,我们必须调用某种警报,将所有读取请求路由到 MongoDB,然后从故障点将数据重新同步到 Cassandra。这是很多工作,任何更多的工作都可能会增加另一个失败点。

对于这种情况,是否有任何最佳实践,或者是否有任何类型的图书馆或服务可以无缝地完成这项工作?谢谢

如果您可以将 MongoDB 更新发布到 Kafka 主题,DataStax 有一个用于 Cassandra 的 open-source Kafka 连接器。这将是一个更有弹性且 highly-available 的解决方案。

有关详细信息,请参阅 GitHub 上的 Kafka connector for Cassandra docs and kafka-sink 存储库。

如果您有兴趣,这里还有 15 分钟的 Katakoda 教程 -- https://www.datastax.com/dev/scenario/datastax-kafka-connector。干杯!