一个输出的卷积神经网络的多个输入?

Multiple inputs to a convolutional neural network with one output?

是否有一种标准的方法可以将多张图像输入 CNN,并最终将信息压缩成一张单张图像?我正在处理一个 HDR 数据集,您可以在其中拥有同一场景的多张图像并将它们放在一起以形成噪声较少的图像。

我尝试做的是将单独的图像设置为通道,但我不确定这是否合适,因为输出很奇怪。

  1. 这个可以实现吗?

是的!任何神经网络,无论层数或类型如何,无非是一些函数 fIO,因此只要您的不同输入属于同一类型,您就可以根据需要自由地通过网络传递任意数量的输入,从而在黑盒的另一侧获得同样多的输出。这些可以通过任何其他函数 g 以任何您想要的方式依次使用:O x OO'(可以是加法、张量乘法、串联或更高级的东西,比如另一个神经网络)。

  1. 这有意义吗?

这里没有答案;这在很大程度上取决于您期望函数执行的操作、数据是什么以及 end-goal 是什么。您是否假设您的所有输入都遵循相同的统计属性或具有相似的基本模式?在那种情况下,您可能会争辩说相同的功能可以为它们建模。请记住,通过并行(即异步)应用它们,您的函数将对两个输入之间的潜在 cross-dependencies 视而不见,这在某些情况下是完全有意义的。为了更清楚一点,如果您的不同输入是单个图像的不同通道,我认为这是错误的方法;每个通道可能传达不同的信息,并且让您的网络不知道每个通道如何相互影响,同时强迫它使用相同的功能在所有通道上创建有意义的抽象听起来不是一个好主意。另一方面,如果您的不同图像是例如一个物体从不同角度拍摄的照片和你应用它们的 sub-network 是对它们特征的某种分类器(例如,已经通过另一个 CNN 获得),那么使用相同的模型对两者进行建模可能是有意义的功能。