Caffe - 如何在同一卷积层上的数据点序列中制作 3 张图像

Caffe - How to make 3 images in a data point train on same Convolution Layer

我正在尝试实现一种 LSTM 网络。 LSTM 需要从 N 个图像的多层中提取特征图。因此,需要对所有 N 幅图像以相同的方式计算这些特征图。所以理想情况下网络看起来像这样:

问题是 Caffe 中似乎没有办法做到这一点。我可以将我的数据点(由 3 个图像组成)切片为这 3 个图像,并且我可以 运行 在其上分离 Conv+Pool 层以获得我的特征图。但这不是我在训练期间想要的。在传递到 LSTM 分层网络之前,所有三个图像都需要具有相同的 Conv + Pooling 权重。如何实现。

我不能在这里使用批量大小的概念,因为我正在训练多帧序列,所以每个批次由 M 个数据点组成,每个数据点有 3 个图像。

在 conv 层之后制作切片,这样您就可以对 3 个图像应用完全相同的权重。我很快用这个想法编辑了你的图片。