添加元素层后是否可以使用预训练模型？
Is it possible to use pretrained model after adding elementwise layers?
我正在使用预训练模型，我想添加 Elementwise 层来生成两层的输出：一层是卷积层的输出 1x1x256x256，另一层也是卷积层的输出1x32x256x256。我的问题是：如果我们添加用于将两层相乘并发送到下一层的逐元素层，我们应该从头开始训练，因为架构已修改，还是仍然可以使用 pretrained 模型？
谢谢
确实，进行架构更改会使学习到的功能发生冲突。
但是，没有理由不对变化以下的层使用学习的权重——这些层不受变化的影响，因此它们可以从初始化中受益。
至于其余的层，我认为来自训练权重的初始化应该不会比随机差，那为什么不呢？
不要忘记初始化任何具有随机权重的新层（caffe 中的默认值为零 - 这可能会给学习带来麻烦）。
我正在使用预训练模型，我想添加 Elementwise 层来生成两层的输出：一层是卷积层的输出 1x1x256x256，另一层也是卷积层的输出1x32x256x256。我的问题是：如果我们添加用于将两层相乘并发送到下一层的逐元素层，我们应该从头开始训练，因为架构已修改，还是仍然可以使用 pretrained 模型？
谢谢
确实，进行架构更改会使学习到的功能发生冲突。
但是，没有理由不对变化以下的层使用学习的权重——这些层不受变化的影响，因此它们可以从初始化中受益。
至于其余的层，我认为来自训练权重的初始化应该不会比随机差，那为什么不呢？
不要忘记初始化任何具有随机权重的新层（caffe 中的默认值为零 - 这可能会给学习带来麻烦）。