在嵌套keras模型之间传递权重的方法

Question

我正在尝试连续构建混合模型，迭代添加子模型。

我首先构建和训练一个简单的模型。然后，我构建了一个稍微复杂的模型 ，其中包含所有原始模型 ，但层数更多。我想将经过训练的权重从第一个模型转移到新模型中。我怎样才能做到这一点？第一个模型嵌套在第二个模型中。

这是一个虚拟的 MWE：

import numpy as np
import tensorflow as tf
from tensorflow.keras.layers import (concatenate, Conv1D,  Dense, LSTM)
from tensorflow.keras import Model, Input, backend

# data
x = np.random.normal(size = 100)
y = np.sin(x)+np.random.normal(size = 100)
# model 1
def make_model_1():
    inp = Input(1)
    l1 = Dense(5, activation = 'relu')(inp)
    out1 = Dense(1)(l1)
    model1 = Model(inp, out1)
    return model1

model1 = make_model_1()

model1.compile(optimizer = tf.keras.optimizers.SGD(),
               loss = tf.keras.losses.mean_squared_error)

model1.fit(x, y, epochs = 3, batch_size = 10)

# make model 2
def make_model_2():
    inp = Input(1)
    l1 = Dense(5, activation = 'relu')(inp)
    out1 = Dense(1)(l1)
    l2 = Dense(15, activation = 'sigmoid')(inp)
    out2 = Dense(1)(l2)
    bucket = tf.stack([out1, out2], axis=2)
    out = backend.squeeze(Dense(1)(bucket), axis = 2)
    model2 = Model(inp, out)
    return model2

model2 = make_model_2()

我如何将权重从 model1 转移到 model2？ 以一种自动且完全不可知两个模型的性质的方式，除了它们是嵌套的？

Answer 1

您可以简单地将经过训练的权重加载到您感兴趣的新模型的特定部分。我通过将 model1 的新实例创建到 model2 中来做到这一点。之后，我加载训练好的权重。

这里是完整的例子

# data
x = np.random.normal(size = 100)
y = np.sin(x)+np.random.normal(size = 100)

# model 1
def make_model_1():
    
    inp = Input(1)
    l1 = Dense(5, activation = 'relu')(inp)
    out1 = Dense(1)(l1)
    model1 = Model(inp, out1)
    
    return model1

model1 = make_model_1()
model1.compile(optimizer = tf.keras.optimizers.SGD(),
               loss = tf.keras.losses.mean_squared_error)
model1.fit(x, y, epochs = 3, batch_size = 10)

# make model 2
def make_model_2(trained_model):
    
    inp = Input(1)

    m = make_model_1()
    m.set_weights(trained_model.get_weights())
    out1 = m(inp)
    
    l2 = Dense(15, activation = 'sigmoid')(inp)
    out2 = Dense(1)(l2)
    bucket = tf.stack([out1, out2], axis=2)
    out = tf.keras.backend.squeeze(Dense(1)(bucket), axis = 2)
    model2 = Model(inp, out)
    
    return model2

model2 = make_model_2(model1)
model2.summary()

在嵌套keras模型之间传递权重的方法

Method to transfer weights between nested keras models

python

mo

keras

tensorflow