如何使用 RNN 对时间相关矩阵建模?
How to model a time dependant matrix with RNN?
我从事视频分类工作。比方说,我暂时对视频进行子采样。因此,对于每个子样本,我都从中设计了一些特征。假设我可以用二维矩阵表示这些特征。
因此,矩阵的这些值是时间相关的。所以对于每个视频,我都有一组矩阵,它们是时间相关的。
所以我需要使用 RNN 对这些时间相关的矩阵值进行建模并表示视频。此表示应将视频分类为 类。换句话说,RNN 应该能够根据这些时间相关矩阵值将视频分类为 类。
我需要知道,这对 RNN 是否可行?这是一个好习惯吗?如果是这样,任何人都可以提供给我的指导方针是什么。什么是好的图书馆?什么是好的教程?谢谢。
您拼合视频的图像并将它们用作序列的元素。
您很可能必须在 RNN 下放置一个卷积网络才能获得合理的结果。
因此,您将图像提供给一个卷积网络,然后展平激活图并将其提供给 RNN 单元。
我从事视频分类工作。比方说,我暂时对视频进行子采样。因此,对于每个子样本,我都从中设计了一些特征。假设我可以用二维矩阵表示这些特征。
因此,矩阵的这些值是时间相关的。所以对于每个视频,我都有一组矩阵,它们是时间相关的。
所以我需要使用 RNN 对这些时间相关的矩阵值进行建模并表示视频。此表示应将视频分类为 类。换句话说,RNN 应该能够根据这些时间相关矩阵值将视频分类为 类。
我需要知道,这对 RNN 是否可行?这是一个好习惯吗?如果是这样,任何人都可以提供给我的指导方针是什么。什么是好的图书馆?什么是好的教程?谢谢。
您拼合视频的图像并将它们用作序列的元素。
您很可能必须在 RNN 下放置一个卷积网络才能获得合理的结果。
因此,您将图像提供给一个卷积网络,然后展平激活图并将其提供给 RNN 单元。