Caffe 中的标签作为图像

Question

我是 Caffe 新手。我正在尝试为语义分割实现一个全卷积神经网络 (FCN-8s)。我有图像数据和标签数据，它们都是图像。这是针对像素级预测的。

我尝试使用ImageData作为数据类型，但它要求整数标签，这不适用于这种情况。请告知我如何给 Caffe 一个二维标签。我应该更喜欢 LMDB 而不是 ImageData？如果是这样，我该如何进行？对于这种情况，我找不到任何好的 tutorial/documentation。

Answer 1

由于您需要实现 像素级 预测，因此您不能使用单个标签作为基本事实。相反，您应该使用标签的真实矩阵。

其中一个 Caffe 人员编写了一个代码片段，用于创建带有图像数据的 LMDB，请参阅 here:

import caffe
import lmdb
from PIL import Image

in_db = lmdb.open('image-lmdb', map_size=int(1e12))
with in_db.begin(write=True) as in_txn:
    for in_idx, in_ in enumerate(inputs):
        # load image:
        # - as np.uint8 {0, ..., 255}
        # - in BGR (switch from RGB)
        # - in Channel x Height x Width order (switch from H x W x C)
        im = np.array(Image.open(in_)) # or load whatever ndarray you need
        im = im[:,:,::-1]
        im = im.transpose((2,0,1))
        im_dat = caffe.io.array_to_datum(im)
        in_txn.put('{:0>10d}'.format(in_idx), im_dat.SerializeToString())
in_db.close()

Caffe 中的标签作为图像

Labels in Caffe as Images

convolution

neural-network

deep-learning

caffe

conv-neural-network