keras rl - dqn 模型更新

Question

我正在阅读 keras-rl /rl/agents/dqn.py 中的 DQN 实现并看到在 compile() 步骤中基本上实例化了 3 个 keras 模型：

self.model : 提供 q 值预测
self.trainable_model : 与 self.model 相同，但具有我们要训练的损失函数
self.target_model ：提供 q 个目标的目标模型，每 k 步使用来自 self.model

调用 train_on_batch() 的唯一模型是 trainable_model，但是 - 这是我不明白的 - 这也会更新 model 的权重。

在 trainable_model 的定义中，输出张量之一 y_pred 引用了 model 的输出：

        y_pred = self.model.output
        y_true = Input(name='y_true', shape=(self.nb_actions,))
        mask = Input(name='mask', shape=(self.nb_actions,))
        loss_out = Lambda(clipped_masked_error, output_shape=(1,), name='loss')([y_true, y_pred, mask])
        ins = [self.model.input] if type(self.model.input) is not list else self.model.input
        trainable_model = Model(inputs=ins + [y_true, mask], outputs=[loss_out, y_pred])

当调用 trainable_model.train_on_batch() 时，BOTH trainable_model 和 model 中的权重都会改变。我很惊讶，因为即使两个模型引用相同的输出张量对象（trainable_model.y_pred = model.output），trainable_model = Model(...) 的实例化也应该实例化一组新的权重，不是吗？

感谢您的帮助！

Answer 1

这是一个小例子，用于说明当您使用另一个模型的输入和输出张量实例化一个新的 keras.models.Model() 时，这两个模型的权重是共享的。他们没有得到 re-initialized.

# keras version: 2.2.4
import numpy as np

from keras.models import Sequential, Model
from keras.layers import Dense, Input
from keras.optimizers import SGD

np.random.seed(123)

model1 = Sequential()
model1.add(Dense(1, input_dim=1, activation="linear", name="model1_dense1", weights=[np.array([[10]]),np.array([10])]))
model1.compile(optimizer=SGD(), loss="mse")

model2 = Model(inputs=model1.input, outputs=model1.output)
model2.compile(optimizer=SGD(), loss="mse")

x = np.random.normal(size=2000)
y = 2 * x + np.random.normal(size=2000)

print("model 1 weights", model1.get_weights())
print("model 2 weights", model2.get_weights())
model2.fit(x,y, epochs=3, batch_size=32)
print("model 1 weights", model1.get_weights())
print("model 2 weights", model2.get_weights())

绝对要记住。对我来说不直观。

keras rl - dqn 模型更新

keras rl - dqn model update

python

keras

tensorflow

keras-rl