PyTorch Dataloader：RAM 中的完整数据集

Question

我想知道 PyTorch Dataloader 是否也可以将完整的数据集提取到 RAM 中，这样如果有足够的 RAM 可用，性能就不会受到影响

Answer 1

您可以扩展 torch.util.data.Dataset 并创建您自己的数据集实现。在自定义数据集的 __init__ 函数中，您可以加载列表或任何其他数据结构中的所有数据，这些数据将完全加载到 ram 中。 __getitem__ 将仅访问结构和 return 单个项目。