用于 4K 分辨率@30fps 的硬件实时密集光流
Dense optical flow for real time on hardware for 4K resolution @30fps
我正在研究一种基于硬件的解决方案（没有 GPU），用于密集光流以获得实时性能 @ 30fps 并具有不错的精度。与 NVIDIA 的光流 SDK 相当或更好的东西。有人可以建议 Pyramidal Lukas Kanade 和 horn Schunck 以外的好的算法吗？我发现 SGM 是一个很好的起点，但很难在 FPGA 或 DSP 内核上实现。目标是测量带有遮挡的大位移以及类似于真实世界的视频。
如果有人能说出 NVIDIA 使用的究竟是什么算法，那就太好了。
对于 real-time 设置中的密集光流估计，FlowNet is a good option. It can achieve optical flow estimation at a higher FPS. You can take their trained model to perform inference. Since you want to run the estimation in a non-GPU environment, you can try converting the model to ONNX format. A good implementation of FlowNet is available in NVIDIA's Github repo。我不确定 NVIDIA 在其光流 SDK 中使用了哪种算法。
FlowNet2 建立在 FlowNet 之前的工作之上，用于计算大位移。但是，如果您担心遮挡，那么您可以查看他们在 FlowNet3 上的后续工作。 FlowNet 的另一个替代方案是 PwC-Net.
我正在研究一种基于硬件的解决方案（没有 GPU），用于密集光流以获得实时性能 @ 30fps 并具有不错的精度。与 NVIDIA 的光流 SDK 相当或更好的东西。有人可以建议 Pyramidal Lukas Kanade 和 horn Schunck 以外的好的算法吗？我发现 SGM 是一个很好的起点，但很难在 FPGA 或 DSP 内核上实现。目标是测量带有遮挡的大位移以及类似于真实世界的视频。
如果有人能说出 NVIDIA 使用的究竟是什么算法，那就太好了。
对于 real-time 设置中的密集光流估计，FlowNet is a good option. It can achieve optical flow estimation at a higher FPS. You can take their trained model to perform inference. Since you want to run the estimation in a non-GPU environment, you can try converting the model to ONNX format. A good implementation of FlowNet is available in NVIDIA's Github repo。我不确定 NVIDIA 在其光流 SDK 中使用了哪种算法。
FlowNet2 建立在 FlowNet 之前的工作之上，用于计算大位移。但是，如果您担心遮挡，那么您可以查看他们在 FlowNet3 上的后续工作。 FlowNet 的另一个替代方案是 PwC-Net.