Mongodb > 千万文档实时数据可视化
Mongodb > 10 million documents realtime data visualization
我正在为我大学的学生方程式赛车构建一个遥测应用程序,我需要实时可视化数据,这些数据存储在 mongodb 实例中并不断更新,大约 7000每秒文件,它很快就会被填满。数据库通常包含大约 5000 万份文档,那么是否可以在笔记本电脑上实时可视化这些数据?或者我应该创建另一个 mongodb 实例并仅每 100-500 毫秒插入一个文档以使查询更快?
- 您可能需要将数据拆分成碎片以扩展写入。
- 对于读取速度,重要的是创建合适的索引以及尽可能多的 RAM 和存储 IOPS。
- 由于这是遥测数据,很少有样本丢失可能不是问题,您可以加快写入速度,另外减少 writeConcern 和日志记录。
最终使用 InfluxDB 作为我的数据库,因为它针对时间序列数据进行了优化,结合 Grafana,它是以高分辨率显示遥测数据的绝佳组合。
我正在为我大学的学生方程式赛车构建一个遥测应用程序,我需要实时可视化数据,这些数据存储在 mongodb 实例中并不断更新,大约 7000每秒文件,它很快就会被填满。数据库通常包含大约 5000 万份文档,那么是否可以在笔记本电脑上实时可视化这些数据?或者我应该创建另一个 mongodb 实例并仅每 100-500 毫秒插入一个文档以使查询更快?
- 您可能需要将数据拆分成碎片以扩展写入。
- 对于读取速度,重要的是创建合适的索引以及尽可能多的 RAM 和存储 IOPS。
- 由于这是遥测数据,很少有样本丢失可能不是问题,您可以加快写入速度,另外减少 writeConcern 和日志记录。
最终使用 InfluxDB 作为我的数据库,因为它针对时间序列数据进行了优化,结合 Grafana,它是以高分辨率显示遥测数据的绝佳组合。