Caffe GoogleNet 模型预测总是相同的

Question

我正在尝试运行来自 caffe model zoo 的预训练 googlenet 模型（无微调）。模型和 deploy.prototxt 都是从 https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet

下载的

下面是我使用的代码：

net = caffe.Net('deploy.prototxt', 'bvlc_googlenet.caffemodel', caffe.TEST)
net.blobs['data'].reshape(1,3,224,224)

image_path = '1.png'
img = caffe.io.load_image(image_path)
img = caffe.io.resize( img, (224, 224, 3) )

# mean subtraction
img[0,:,:] -= 104 / 255.0
img[1,:,:] -= 117 / 255.0
img[2,:,:] -= 123 / 255.0

# 224,224,3 -> 3,224,224
img = np.transpose(img, (2, 0, 1))

out = net.forward(data=np.array([img]))['prob']
print(np.argmax(out))

看起来模型加载正常，但是无论输入如何，它总是输出相同的 class (885)。可能是什么原因？

UPD：实际上，同样的问题适用于其他模型，无论我是否表示减法，只是总是检测到的 class 发生了一些变化。

Answer 1

我发现代码存在一些问题。首先是你应该在设置平均值之前使用 np.transpose，因为在 caffe.io.load 中，图像仍然具有形状 (224,224,3)。其次是您需要将图像从 [0,1] 重新缩放到 [0,255]。此外，caffe 还需要按特定顺序显示图像。 Small explanation is given here。因此，您必须将默认的 RGB 格式更改为 BGR 格式。

我会推荐使用转换器 caffe.io.transformer，它干净地打包了所有这些转换。

对于您的示例，带有转换器的代码为：

transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_mean('data', np.array([104,117,123]))
transformer.set_transpose('data',(2,0,1))
transformer.set_channel_swap('data',(2,1,0))
transformer.set_raw_scale('data', 255.0)

image_path = 'cat.jpg'
img = caffe.io.load_image(image_path)
img = caffe.io.resize( img, (224, 224, 3) )

net.blobs['data'].reshape(1,3,224,224)
net.blobs['data'].data[:,:,:] = transformer.preprocess('data',img)
output = net.forward()
out = net.blobs['prob'].data[0].flatten()
labels = np.loadtxt(labels_file, str, delimiter='\t')
print(np.argmax(out))
print ('output label : ' + labels[out.argmax()])

Caffe GoogleNet 模型预测总是相同的

Caffe GoogleNet model predictions are always the same

python

deep-learning

caffe

pycaffe