光流和时空之间有什么区别

what is the difference between optical flow and spatio temporal

我阅读了有关光流和时空特征的内容,发现:

我们可以从光流中得到物体的速度和方向,而我们可以从时空中得到位置和时间。

我有点困惑,有人说我们可以从光流和时空获得相同的信息,对吗?

我只是想知道我关于我们可以从这两者中得到什么的说法是否正确,或者它们表明了相同的目标。

此致

光流是物体由于图像变化而产生的表观运动。例如,在第一个图像中,灰色点在左侧,而在第二个图像中,它在右侧。因此,该对象看起来向右移动。然而,光流只是表象,可能会出现两个错误:

  1. 物体的颜色是均匀的,因此没有明显的运动,即使有一个真实的运动。
  2. 没有移动的物体,但由于例如光照的变化,它看起来是那样的。

另一方面,你有时空信息。我不确定任何正式接受的定义,但在我看来,这只是某个时间(时间)对象的位置(空间)的组合信息。这种组合使得准确了解物体的运动成为可能。

在我看来,时空信息为您提供了有关对象的位置、速度甚至运动矢量的信息。这同样适用于光流,考虑到那里的运动是明显的。因此,您几乎是正确的,您只是忘记了光流是明显的这一事实。当然,除非你只是隐含地假设,在那种情况下我同意你的解释。

编辑: 使其更清晰,如下图。两张不同的图片表示光流,一种明显的运动。立方体似乎在转动。从光流来看,尚不清楚这是否也在现实中发生。可能是相机在两张照片之间移动。然而,对于光流,我们假设视运动是真实运动的结果。我们在时空信息中没有这种模糊性,我们的信息总是关于现实的。

来源:

Van Gool, L., Tuytelaars, T., Szekely, G., & Ferrari, V. (n.d.). Pattern Recognition and Image Interpretation: Image processing and Image interpretation.

Picture: http://fzheng.me/2015/03/25/optical-flow/