数百万条记录的数据库或平面文件?
Database or flat file for millions of records?
假设每10秒生成一个包含四个字符串(日期、名称、类型、价格)的元组。我正在 Python 中编写一个程序,以便将这些元组存储在磁盘中以供将来使用(仅 Read1)。将有数百万个元组,因此 "insert" 操作在这里至关重要。这个问题的最佳解决方案是什么? SQLite、Postgres、MongoDB 或平面文件?
1我会把内存中的几乎所有数据,从头读到尾。我不需要复杂的关系读取。例如,"SELECT price FROM table" 就是我需要的。我根本不会使用任何索引。
我肯定会推荐 mongo。使用索引,您可以在该组数据上获得非常好的性能。使用平面文件,您将不得不在应用程序逻辑中管理数据库系统的所有复杂性(假设您以任何形式的紧急情况需要此数据)。如果你在你要查询的字段上添加索引,你应该在性能类别中没有问题,尤其是当你只在数百万记录范围内时。
假设每10秒生成一个包含四个字符串(日期、名称、类型、价格)的元组。我正在 Python 中编写一个程序,以便将这些元组存储在磁盘中以供将来使用(仅 Read1)。将有数百万个元组,因此 "insert" 操作在这里至关重要。这个问题的最佳解决方案是什么? SQLite、Postgres、MongoDB 或平面文件?
1我会把内存中的几乎所有数据,从头读到尾。我不需要复杂的关系读取。例如,"SELECT price FROM table" 就是我需要的。我根本不会使用任何索引。
我肯定会推荐 mongo。使用索引,您可以在该组数据上获得非常好的性能。使用平面文件,您将不得不在应用程序逻辑中管理数据库系统的所有复杂性(假设您以任何形式的紧急情况需要此数据)。如果你在你要查询的字段上添加索引,你应该在性能类别中没有问题,尤其是当你只在数百万记录范围内时。