如何将辅助头添加到预训练的 keras 模型的中间层？

Question

这是我关于堆栈溢出的第一个问题。我将尝试提供尽可能多的背景信息。感谢您花时间阅读我的问题！

我目前正在使用 efficentnet 解决分类问题。我想在中间层上添加一个辅助头。辅助头是指将产生第二个输出（2 个最终输出）的另一组层。

目前我设法使用以下代码在模型末尾添加了一个额外的头部：

inputs = tf.keras.Input(shape=(img_size, img_size, 3), name='input')
    
x =  efn.EfficientNetB7(input_shape=(img_size, img_size, 3), include_top=False)(inputs)

classification_head = tf.keras.layers.GlobalAveragePooling2D()(x)
classification_head = tf.keras.layers.Dense(4, activation='softmax', name = 'classification')(classification_head)
    

aux_head = tf.keras.layers.Conv2D(128, kernel_size = 3, padding='same')(x)
aux_head = tf.keras.layers.BatchNormalization()(aux_head)
aux_head = tf.keras.layers.ReLU()(aux_head)
aux_head = tf.keras.layers.Conv2D(1, kernel_size=1, padding= 'valid', name = 'aux_head')(aux_head)
    
model = tf.keras.Model(inputs, [classification_head,aux_head])

我想做一个类似的过程，但是通过直接在中间层上添加aux_head（这里它被命名为block5a_expand_conv），我试过的是：

inputs = tf.keras.Input(shape=(img_size, img_size, 3), name='input')
    
x = efn.EfficientNetB7(input_shape=(img_size, img_size, 3), include_top=False)(inputs)

classification_head = tf.keras.layers.GlobalAveragePooling2D()(x)
classification_head = tf.keras.layers.Dense(4, activation='softmax', name = 'classification')(classification_head)
    
intermediary_layer = x(
                input_shape=(img_sisze, img_sisze, 3),
                include_top=False).get_layer(name = 'block5a_expand_conv')

aux_head = tf.keras.layers.Conv2D(128, kernel_size = 3, padding='same')(intermediary_layer.output)
aux_head = tf.keras.layers.BatchNormalization()(aux_head)
aux_head = tf.keras.layers.ReLU()(aux_head)
aux_head = tf.keras.layers.Conv2D(1, kernel_size=1, padding= 'valid', name = 'aux_head')(aux_head)
    
model = tf.keras.Model(inputs, [classification_head,aux_head])

但是这段代码产生了一个名为的错误：

Graph disconnected

有人知道这里的工作可以做什么吗？

Answer 1

此错误表明，tensorflow 无法在定义为输入和输出的层之间创建图形（模型）。在您的模型中某处，通过层的路径断开连接。因此，请检查输入层和输出层之间的路径。

在您的例子中，您定义了一个输入层 inputs。您通过 efficientnet 提供此输入，一些您自己定义的层然后将输出作为 classification_head。我们仍然没有问题。作为下一条路径，您想要获得一个名为 block5a_expand_conv 的隐藏层输出并将其馈送到其他一些层并获得另一个输出 aux_head.

那么，问题来了，这个路径的输入在哪里呢？它找不到它的输入，因为您将中间层定义为层，而不是层的输出，并且它无法通过中间层连接到输入，因为您没有正确定义它。这是图表断开连接的地方。

修改后的代码如下：

en_model = efn.EfficientNetB7(input_shape=(img_size, img_size, 3), include_top=False)
 
classification_head = tf.keras.layers.GlobalAveragePooling2D()(en_model.output)
classification_head = tf.keras.layers.Dense(4, activation='softmax', name = 'classification')(classification_head)
 
intermediary_layer = en_model.get_layer('block5a_expand_conv').output
 
aux_head = tf.keras.layers.Conv2D(128, kernel_size = 3, padding='same')(intermediary_layer)
aux_head = tf.keras.layers.BatchNormalization()(aux_head)
aux_head = tf.keras.layers.ReLU()(aux_head)
aux_head = tf.keras.layers.Conv2D(1, kernel_size=1, padding= 'valid', name = 'aux_head')(aux_head)
    
model = tf.keras.Model(en_model.input, [classification_head,aux_head])

如何将辅助头添加到预训练的 keras 模型的中间层？

How to add an auxiliary head to an intermediary layer of a pretrained keras model?

keras

layer

efficientnet