时间相关特征的卷积神经网络

Convolutional Neural Network for time-dependent features

我需要对一系列图像进行降维。更具体地说,每个图像都是一个球运动的快照,最佳特征是它的位置和速度。据我所知,CNN 是减少图像分类特征的最先进方法,但在那种情况下只提供单个帧。给定多个不同时间步长的图像,是否也可以提取与时间相关的特征?否则,这样做的最先进技术是什么?

这是我第一次使用 CNN,如果有任何参考或任何其他建议,我也将不胜感激。

如果您想让网络以某种方式识别依赖于时间的进程,您可能应该研究循环神经网络 (RNN)。由于您将对视频进行操作,因此您应该研究循环卷积神经网络 (RCNN),例如:http://jmlr.org/proceedings/papers/v32/pinheiro14.pdf

Recurrence 为输入数据的先前状态添加了一些记忆。请参阅 Karpathy 的这个很好的解释:http://karpathy.github.io/2015/05/21/rnn-effectiveness/

在您的情况下,您需要在多张图片之间重复出现,而不是只在一张图片内重复出现。您需要解决的第一个问题似乎是图像分割问题(​​能够从图像的其余部分中挑选出球),上面链接的第一篇论文涉及分割。 (话又说回来,也许你正试图利用运动来识别移动物体?)

这是另一个想法:也许您只能查看连续帧之间的差异并将其用作您的 convnet 的输入数据?输入 "image" 然后将显示移动对象在前一帧中的位置以及它在当前帧中的位置。较大的差异将表明较大的移动量。这可能会产生与使用循环网络类似的效果。