Tensorflow 中哪些层受 dropout 层的影响?

What layers are affected by dropout layer in Tensorflow?

考虑迁移学习,以便在 keras/tensorflow 中使用预训练模型。对于每个旧层,trained 参数设置为 false 以便其权重在训练期间不会更新,而最后一层已被新层替换并且必须对这些层进行训练。特别是添加了两个具有 5121024 神经元和 relu 激活函数的完全连接的隐藏层。在这些层之后,Dropout 层与 rate 0.2 一起使用。这意味着在每个训练时期 20% 的神经元被随机丢弃。

这个dropout层影响哪些层?它会影响所有网络,包括已设置 layer.trainable=false 的预训练层,还是只影响新添加的层?或者它只影响前一层(即具有 1024 个神经元的层)?

换句话说,在每个时期被dropout关闭的神经元属于哪一层?

import os

from tensorflow.keras import layers
from tensorflow.keras import Model
  
from tensorflow.keras.applications.inception_v3 import InceptionV3

local_weights_file = 'weights.h5'

pre_trained_model = InceptionV3(input_shape = (150, 150, 3), 
                                include_top = False, 
                                weights = None)

pre_trained_model.load_weights(local_weights_file)

for layer in pre_trained_model.layers:
  layer.trainable = False
  
# pre_trained_model.summary()

last_layer = pre_trained_model.get_layer('mixed7')
last_output = last_layer.output

# Flatten the output layer to 1 dimension
x = layers.Flatten()(last_output)
# Add two fully connected layers with 512 and 1,024 hidden units and ReLU activation
x = layers.Dense(512, activation='relu')(x)
x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for classification
x = layers.Dense  (1, activation='sigmoid')(x)           

model = Model( pre_trained_model.input, x) 

model.compile(optimizer = RMSprop(lr=0.0001), 
              loss = 'binary_crossentropy', 
              metrics = ['accuracy'])

Dropout 技术并未在神经网络的每一层上实施;它通常在网络最后几层的神经元中被利用。

该技术通过随机减少神经网络中互连神经元的数量来发挥作用。在每个训练步骤中,每个神经元都有可能被排除在外,或者更确切地说,从连接神经元的整理贡献中剔除

对于 dropout 应该放在激活函数之前还是之后存在一些争论。根据经验,对于 relu.

以外的所有激活函数,将 dropout 放在激活函数之后

您可以在每个隐藏层之后添加 dropout,通常它只影响前一层(您的情况会影响 (x = layers.Dense(1024, activation='relu')(x) ))。在提出 dropout 层的原始论文中,通过 Hinton (2012),在输出之前的每个全连接(密集)层上使用了 dropout(p=0.5);它没有用在卷积层上。这成了最常用的配置。

我正在添加可能对您有帮助的资源link:

https://towardsdatascience.com/understanding-and-implementing-dropout-in-tensorflow-and-keras-a8a3a02c1bfa

https://towardsdatascience.com/dropout-on-convolutional-layers-is-weird-5c6ab14f19b2

https://towardsdatascience.com/machine-learning-part-20-dropout-keras-layers-explained-8c9f6dc4c9ab

dropout层会影响上一层的输出

如果我们查看您代码的特定部分:

x = layers.Dense(1024, activation='relu')(x)
# Add a dropout rate of 0.2
x = layers.Dropout(0.2)(x)                  
# Add a final sigmoid layer for classification
x = layers.Dense  (1, activation='sigmoid')(x)  

在您的情况下,x = layers.Dense(1024, activation='relu')(x) 定义的层输出的 20% 将被随机丢弃,然后再传递到最后的 Dense 层。

只有层的神经元被“关闭”,但所有层在反向传播方面都“受到影响”。

  • Later layers: Dropout的输出是下一层的输入,所以下一层的输出会改变,next-next的输出也会改变,等等
  • 前一层:随着pre-Dropout层的“有效输出”发生变化,它的梯度也会发生变化,因此任何后续梯度也会发生变化。在Dropout(rate=1)的极端情况下,零梯度会流动。

此外,请注意 整个神经元 仅在 Dense 的输入为 2D 时才会被丢弃 (batch_size, features); Dropout 对所有维度应用随机统一掩码(相当于在 2D 情况下丢弃整个神经元)。要丢弃整个神经元,请设置 Dropout(.2, noise_shape=(batch_size, 1, features))(3D 案例)。要在所有样本中删除 相同 个神经元,请使用 noise_shape=(1, 1, features)(或 (1, features) 用于 2D)。