如何在 RAM 中一次保存包含数百万词典的 python 列表？
How to hold a python list containing millions of dictionaries in RAM at once?
我将巨大的 csv 文件存储为字典列表，如下所示：
dictlist={ 1 : { 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'},
2 : { 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'}}
其中键 1 和 2 是行号，值是 csv 文件中的数据。
我的问题是我需要转换超过 400 万行的 csv 文件。但是对于如此大量的数据，我的数据结构无法放入内存（RAM）中。
谁能帮我找到一个解决方案，比如将数据结构存储到磁盘之类的。我需要一次使用整个数据结构。
提前致谢
- 我已经使用 disklist 库解决了这个问题。
- 首先需要使用pip安装disklist库（pip install disklist）
- 之后你应该导入磁盘列表并像列表一样使用它 (some_variable_name = disklist())
- 磁盘列表与python中的列表几乎相同。但它将存储在磁盘 space 而不是 RAM 中。
我将巨大的 csv 文件存储为字典列表，如下所示：
dictlist={ 1 : { 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'},
2 : { 'col-1' : 'data-1','col-2' : 'data-2','col-3' : 'data-3'}}
其中键 1 和 2 是行号，值是 csv 文件中的数据。
我的问题是我需要转换超过 400 万行的 csv 文件。但是对于如此大量的数据，我的数据结构无法放入内存（RAM）中。
谁能帮我找到一个解决方案，比如将数据结构存储到磁盘之类的。我需要一次使用整个数据结构。
提前致谢
- 我已经使用 disklist 库解决了这个问题。
- 首先需要使用pip安装disklist库（pip install disklist）
- 之后你应该导入磁盘列表并像列表一样使用它 (some_variable_name = disklist())
- 磁盘列表与python中的列表几乎相同。但它将存储在磁盘 space 而不是 RAM 中。