没有lmdb的Caffe+Opencv
Caffe+Opencv without lmdb
当使用 caffe 时,要创建包含图像的训练数据集,我们需要创建特殊格式的数据库,如 lmdb,但是有任何选项可以传递给 caffe 图像批次,例如 vector<cv::Mat>
?
澄清一下,我正在寻找可以处理无法放入内存的大量图像的解决方案(但假设一个训练批次(包含例如 50 张图像)可以存储在内存中)。
Caffe 可以采用多种类型的输入,具体取决于我们使用的输入层。
一些可用的输入法是:
- 数据
- 内存数据
- HDF5数据
- ImageData 等
在模型文件中,您找到的第一层是Layer type: Data
,它使用lmdb or leveldb
作为输入法。将一组图像转换为这些数据库非常容易,因为 Caffe 已经提供了转换图像的工具。
Layer type: MemoryData
直接从内存中读取数据,这在测试阶段使用相机输入作为 Caffe 输入传递时非常有用。高度不推荐使用这一层进行训练。
Layer type: ImageData
将文本文件作为输入。文本文件包含所有图像名称及其完整路径和 class 编号。 Caffe 使用 OpenCV 读取该层中的图像。它还负责图像的所有转换。因此,与其使用 OpenCV 读取图像然后传递到 MemoryData 层,不如使用 ImageData。
ImageData层读取图片的.txt格式必须是:
/path/to/the/image/imageName.jpg classNumber
强烈建议使用 LMDB 或 LevelDB,因为如果图像路径或名称包含空格,或者任何图像已损坏,ImageData 将无法正常工作。
各图层详情可以查here。
根据型号和批量大小在 GPU 中分配内存。如果发生内存溢出,您可以尝试减小批量大小。 Caffe 轻松处理了包含 120 万张图像的 Imagenet 数据库的训练。因此,在最佳批量大小的情况下,该算法应该可以正常工作。
当使用 caffe 时,要创建包含图像的训练数据集,我们需要创建特殊格式的数据库,如 lmdb,但是有任何选项可以传递给 caffe 图像批次,例如 vector<cv::Mat>
?
澄清一下,我正在寻找可以处理无法放入内存的大量图像的解决方案(但假设一个训练批次(包含例如 50 张图像)可以存储在内存中)。
Caffe 可以采用多种类型的输入,具体取决于我们使用的输入层。 一些可用的输入法是:
- 数据
- 内存数据
- HDF5数据
- ImageData 等
在模型文件中,您找到的第一层是Layer type: Data
,它使用lmdb or leveldb
作为输入法。将一组图像转换为这些数据库非常容易,因为 Caffe 已经提供了转换图像的工具。
Layer type: MemoryData
直接从内存中读取数据,这在测试阶段使用相机输入作为 Caffe 输入传递时非常有用。高度不推荐使用这一层进行训练。
Layer type: ImageData
将文本文件作为输入。文本文件包含所有图像名称及其完整路径和 class 编号。 Caffe 使用 OpenCV 读取该层中的图像。它还负责图像的所有转换。因此,与其使用 OpenCV 读取图像然后传递到 MemoryData 层,不如使用 ImageData。
ImageData层读取图片的.txt格式必须是:
/path/to/the/image/imageName.jpg classNumber
强烈建议使用 LMDB 或 LevelDB,因为如果图像路径或名称包含空格,或者任何图像已损坏,ImageData 将无法正常工作。
各图层详情可以查here。
根据型号和批量大小在 GPU 中分配内存。如果发生内存溢出,您可以尝试减小批量大小。 Caffe 轻松处理了包含 120 万张图像的 Imagenet 数据库的训练。因此,在最佳批量大小的情况下,该算法应该可以正常工作。