什么是光流之间的端点误差?

What is endpoint error between optical flows?

我看到端点误差 (EPE) 用作确定流量估计与地面真实流量的接近程度的指标,但我对此有一些疑问,希望有人能启发我:

End-to-end点误差是通过比较一个估计的光流矢量(v_est ) 与一个真实的光流矢量 ( v_gt ).

End-to-end 点误差定义为这两者之间的欧氏距离:

||v_est - v_gt||

对于视频中的给定帧,您通常会有很多这样的向量,光流估计的常见质量度量是平均 end-to-end 点误差。

请注意,您需要带有 groundtruth 的带注释视频,否则无法计算度量。要使用的经典数据集是 Middlebury Optical flow sets. For a long rich dataset with such groundtruth (albeit rendered), see for example the MPI Sintel Dataset

另一种常见的误差度量是插值误差。它的好处是不需要任何 groundtruth。插值误差是通过使用光流来推断("warp")当前帧来实现的。然后将外推图像与视频的真实下一帧进行比较。

插值误差可以很好地衡量光流如何用于视频编码,而end-to-end点误差可以很好地衡量它如何用于计算机视觉任务,例如作为运动的形状等。