有效网络迁移学习的错误预测

Question

我是 TensorFlow 中迁移学习的新手，我选择 tfhub 来简化数据集的查找，但现在我很困惑，因为当我尝试使用来自互联网的图像时，我的模型给出了错误的预测。我使用 efficientnet_v2_imagenet1k_b0 特征向量而不进行微调来训练来自 https://www.kaggle.com/drgfreeman/rockpaperscissors 的剪刀石头布数据集。我使用图像数据生成器和来自目录的流进行数据处理。

这是我的模型here

这是我的训练结果here

这是我的测试结果here

这是我第二次在使用 tfhub 进行迁移学习时遇到这样的问题。我想知道为什么会发生这种情况以及如何解决它，以免再次发生此问题。非常感谢您的帮助，抱歉我的英语不好。

Answer 1

为了帮助确实需要查看有关如何向 model.predict 提供数据的代码。然而，作为一个猜测，请记住 efficientnet 需要具有 0 到 255 范围内的像素，因此不要缩放图像。确保您的测试图像是 rgb 和与训练中使用的图像大小相同的大小。还需要查看有关如何处理预测的代码

Answer 2

我将你的代码和数据集下载到我的本地机器上。必须进行一些调整才能在本地运行。我相信模型 efficientnet_v2_imagenet1k_b0 是不同的来自较新的高效网络模型，因为这个版本确实要求像素级别在 0 和 1 之间缩放。我运行模型有和没有重新缩放，只有当像素被重新缩放。下面是我用来测试模型是否正确预测的代码从互联网上下载的图像。它按预期工作。

import cv2
class_dict=train_generator.class_indices
print (class_dict)
rev_dict={}
for key, value in class_dict.items():
    rev_dict[value]=key
print (rev_dict)
fpath=r'C:\Temp\rps.jpg' # an image downloaded from internet that should be paper class
img=plt.imread(fpath)
print (img.shape)
img=cv2.resize(img, (224,224)) # resize to 224 X 224 to be same size as model was trained on
print (img.shape)
plt.imshow(img)
img=img/255.0 # rescale as was done with training images
img=np.expand_dims(img,axis=0)
print(img.shape)
p=model.predict(img)
print (p)
index=np.argmax(p)
print (index)
klass=rev_dict[index]
prob=p[0][index]* 100
print (f'image is of class {klass}, with probability of {prob:6.2f}')

结果是

{'paper': 0, 'rock': 1, 'scissors': 2}
{0: 'paper', 1: 'rock', 2: 'scissors'}
(300, 300, 3)
(224, 224, 3)
(1, 224, 224, 3)
[[9.9902594e-01 5.5121275e-04 4.2284720e-04]]
0
image is of class paper, with probability of  99.90

你的代码中有这个

uploaded = files.upload()

len_file = len(uploaded.keys())

这没有运行因为文件没有定义所以找不到导致您的错误分类问题的原因。记住在 flow_from_directory 中，如果你不指定颜色模式，它默认为 rgb。所以即使训练图像是 4 通道 PNG 实际模型在 3 个通道上训练。所以请确保你要预测的图像是 3 个通道。

有效网络迁移学习的错误预测

False prediction from efficientnet transfer learning

false-positive

tensorflow

tensorflow-hub

transfer-learning

efficientnet