PyTorch：将多条记录包装在一个文件中？

Question

是否有一种标准方法可以在 PyTorch 可以读取的文件中对多个记录（在本例中为来自多个 .png 或 .jpeg 图像的数据）进行编码？类似于 TensorFlow 的 "TFRecord" 或 MXNet 的 "RecordIO"，但适用于 PyTorch。

我需要从 S3 下载图像数据进行推理，如果我的图像数据是许多小的 .jpg 文件而不是更少的文件，速度会慢得多。

谢谢。

Answer 1

一件事是将成批图像一起存储在一个 npz 文件中。 Numpy 的 np.savez 允许您将多个数组压缩到一个文件中。然后将文件加载为 np 数组并使用 torch.from_numpy 转换为张量。