用keras构建密集残差网络

Question

我正在尝试使用 Keras 基于密集网络构建分类器。我的输入是 (26,1) 向量，我想得到二进制分类 1 或 0 作为输出。

使用密集网络和 hyperas 的一些优化我设法达到 80% 的准确度，这还不错，但我正在尝试使用残差网络提高网络的准确度。

我在各种论坛上找到了很多卷积网络残差网络的例子，但是我没有找到残差网络的例子。

我尝试了以下代码来生成残差网络：

Input=keras.Input(shape=(X_train.shape[1],))
x1=layers.Dense(512,activation='relu')(Input)
x1=layers.Dropout(0.5)(x1)
x1=layers.Dense(128,activation='relu')(x1)
x1=layers.Dropout(0.4)(x1)
# x1=layers.Dense(512,activation='relu')(x1)
# x1=layers.Dropout(0.3)(x1)

x2=layers.Dense(128,activation='relu')(Input)
x2=layers.Dropout(0.5)(x2)

added=layers.Add()([x1,x2])#pour faire du ResNet
x3=layers.Dense(128,activation='relu')(added)
final=layers.Dense(1,activation='sigmoid')(x3)

model=Model(Input,final)

model.compile(optimizer='RMSprop',loss='binary_crossentropy',metrics=['accuracy'])

history=model.fit(X_train,Y_train,validation_data=(X_valid,Y_valid),epochs=100,batch_size=128,class_weight=class_weight)

loss = history.history['acc']
val_loss=history.history['val_acc']

epochs=range(1,len(loss)+1)

plt.plot(epochs,loss,'bo',label='Training accuracy')
plt.plot(epochs,val_loss,'b',label='Validation accuracy')
plt.title('Training and validation accuracy')
plt.legend()

plt.show()

我尝试了各种 epoch 训练，但网络没有达到 75% 以上的准确率，这比以前差了。当然，我仍然可以使用 hyperas 再次提高准确性并调整超参数，但我“一开始”期待更好的表现。

问题：

我的编码有缺陷吗？
有没有更好的方法生成残差网络？主要是，我添加了一个跳跃层（它仍然穿过一个致密层）我可以做得更好吗？我应该包括更多吗？

感谢您的建议

Answer 1

首先，resnets 旨在用于更深的网络。您的网络似乎浅薄无法获得最大adding收益。

更一般地说，resnets 是像 VGGNet 这样的简单架构的进化版本，旨在能够“更深入”。这并不意味着如果网络太浅，残差层总是会提高你的准确性。

添加更多图层应该会有所帮助。关键思想是通过允许跳过连接来避免网络深层中的梯度消失。

用keras构建密集残差网络

Building a dense residual network with keras

python

machine-learning

neural-network

keras

deep-residual-networks