将模型从 keras h5 转换为 pytorch - 全连接层不匹配

Question

我使用 mmdnn 将两个模型（vgg16 和 resnet50）从带有 TensorFlow 后端（从 model.save 文件）的 Keras 转换为 PyTorch。这是通过以下方式完成的：

mmconvert -sf keras -iw vgg.h5 -df pytorch -om keras_to_torch.pt

A = imp.load_source('MainModel','/weights/keras_to_torch.py')
model = torch.load('/weights/keras_to_torch.pt')

对同一数据集的预测给出了不同的结果集，因此我进一步调查。

我可以看到所有卷积层的权重都相同（转置后），但是最后的全连接层的权重不同。

这应该是有原因的吗？据我了解，它们应该是等价的

Answer 1

问题一定出在您定义 keras 模型的方式上，因为我无法使用 MMdnn 包提供的 h5 文件复制该问题。如果你想使用resnet50和VGG19模型你可以得到正确的权重如下：

按照 documentation 中指定的方式启动 MMdnn 容器下载 resnet50

mmdownload -f keras -n resnet50 -o ./

转换为 pytorch 模型

mmconvert -sf keras -iw ./imagenet_resnet50.h5 -df pytorch -om keras_to_torch.pt

然后从docker容器中提取生成的numpy文件，keras_to_torch.pt和keras_to_torch.py （和imagenet_resnet50.h5 进行比较）。

在Python中用

加载keras模型

import keras
model = load_model('imagenet_resnet50.h5')

手电筒模型使用

import imp
import torch
torch_weights = # path_to_the_numpy_weights
A = imp.load_source('MainModel','keras_to_torch.py')
weights_torch = A.load_weights(torch_weights)
model_torch = A.KitModel(torch_weights)

我还必须在 keras_to_torch.py 文件开头的 load_weights(weight_file) 函数中设置 allow_pickle = True。不幸的是，torch.load('/weights/keras_to_torch.pt') 变体为我抛出了一个错误。

打印最后一个密集连接层的权重

# keras model
model.layers[-1].weights

# Output:
#tensor([[-0.0149,  0.0113, -0.0507,  ..., -0.0218, -0.0776,  0.0102],
#        [-0.0029,  0.0032,  0.0195,  ...,  0.0362,  0.0035, -0.0332],
#        [-0.0175,  0.0081,  0.0085,  ..., -0.0302,  0.0549, -0.0251],
#        ...,
#        [ 0.0253,  0.0630,  0.0204,  ..., -0.0051, -0.0354, -0.0131],
#        [-0.0062, -0.0162, -0.0122,  ...,  0.0138,  0.0409, -0.0186],
#        [-0.0267,  0.0131, -0.0185,  ...,  0.0630,  0.0256, -0.0069]])

# torch model (make sure to transpose)
model_torch.fc1000.weight.data.T

# Output:
#[<tf.Variable 'fc1000/kernel:0' shape=(2048, 1000) dtype=float32, numpy=
# array([[-0.01490746,  0.0113374 , -0.05073728, ..., -0.02179668,
#         -0.07764222,  0.01018347],
#        [-0.00294467,  0.00319835,  0.01953556, ...,  0.03623696,
#          0.00350259, -0.03321117],
#        [-0.01751374,  0.00807406,  0.00851311, ..., -0.03024036,
#          0.05494978, -0.02511911],
#        ...,
#        [ 0.025289  ,  0.0630148 ,  0.02041481, ..., -0.00508354,
#         -0.03542514, -0.01306196],
#        [-0.00623157, -0.01624131, -0.01221174, ...,  0.01376359,
#          0.04087579, -0.0185826 ],
#        [-0.02668471,  0.0130982 , -0.01847764, ...,  0.06304929
#...

keras和torch模型的权重符合要求（最多4位左右）。只要您不想在将它们转换为 Pytorch 之前更新 keras 中的 VGG 和 ResNet 权重，此解决方案就可以使用。

如果您确实需要在转换之前更新模型权重，您应该共享您用于创建 Keras 模型的代码。您可以进一步检查使用 mmdownload 模型获得的 imagenet_resnet50.h5 与您在 keras 中使用 model.save 保存的模型有何不同，并纠正任何差异。

将模型从 keras h5 转换为 pytorch - 全连接层不匹配

Converted model from keras h5 to pytorch - fully connected layer mismatch

data-conversion

conv-neural-network

keras

pytorch