OpenCV 重映射插值错误？

Question

我正在使用 opencv 重映射函数将图像映射到另一个坐标系。但是，我的初步测试表明插值存在一些问题。在这里，我给出了一个简单的例子，一个图像的恒定 0.1 像素偏移，该图像在位置 [50,50].

处为 0。

import cv2
import numpy as np

prvs = np.zeros((100,80), dtype=np.float32)
prvs[50:51, 50:51] = 1.

grid_x, grid_y = np.meshgrid(np.arange(prvs.shape[1]), np.arange(prvs.shape[0]))
grid_y = grid_y.astype(np.float32)
grid_x = grid_x.astype(np.float32) + 0.1

prvs_remapped = cv2.remap(prvs, grid_x, grid_y, interpolation=cv2.INTER_LINEAR)

print(prvs_remapped[50,50])
print(prvs_remapped[50,49])

给予

0.90625
0.09375

但是，考虑到线性插值方法，我希望得到 0.9 和 0.1。我做错了什么或者这是一些数字问题？有没有更精确的重映射算法？

谢谢。

Answer 1

不错的收获。我认为您的期望是正确的，例如 np.interp 给出 0.1 和 0.9 值。

让我们绘制一个金字塔（插值到 49:51 方形像素范围内）：

import numpy as np
import cv2
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

prvs = np.zeros((100,80), dtype=np.float32)
prvs[50:51, 50:51] = 1

lin = np.linspace(49,51,200)
grid_x,grid_y = np.meshgrid(lin,lin)
grid_x = grid_x.astype(np.float32)
grid_y = grid_y.astype(np.float32)
prvs_zoommapped = cv2.remap(prvs, grid_x, grid_y, interpolation=cv2.INTER_LINEAR)

fig = plt.figure()
ax = fig.add_subplot(111,projection='3d')
ax.plot_surface(grid_x,grid_y,prvs_zoommapped,cmap='viridis')
plt.show()

注意到有什么不对吗？使用 200x200 的绘图网格，金字塔上有非常明显的台阶。让我们来看看我们结果的横截面：

fig,ax = plt.subplots()
ax.plot(prvs_zoommapped[100,:],'x-')
ax.grid('on')
plt.show()

如您所见，结果是一个分段常数函数，即输出中存在巨大的离散化误差。准确地说，我们在结果中看到0.03125 == 1/32的步骤。

我怀疑 cv2.remap 并不意味着用于子像素操作，而是用于从一个网格到另一个网格的更大规模映射。另一种选择是为了提高性能而牺牲了内部精度。无论哪种方式，您都不会发疯：您应该看到 0.1 和 0.9 作为精确（双）线性插值的结果。

如果您由于其他任务而不致力于 openCV，则可以使用 scipy.interpolate, namely . For your special case of linear interpolation on a regular grid, scipy.interpolate.RegularGridInterpolator 的各种位或类似的东西执行此映射，即 2d 插值。

甚至更好（但我还没有使用这个子模块）：scipy.ndimage.map_coordinates 似乎正是您要找的东西：

from scipy import ndimage
ndimage.map_coordinates(prvs, [[50.1, 49.1], [50, 50]], order=1)
# output: array([ 0.89999998,  0.1       ], dtype=float32)

应用于金字塔的例子：

import numpy as np
import cv2
from scipy import ndimage
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

prvs = np.zeros((100,80), dtype=np.float32)
prvs[50:51, 50:51] = 1

lin = np.linspace(49,51,200)
grid_x,grid_y = np.meshgrid(lin,lin)
prvs_zoommapped = ndimage.map_coordinates(prvs, [grid_x, grid_y], order=1)

fig = plt.figure()
ax = fig.add_subplot(111,projection='3d')
ax.plot_surface(grid_x,grid_y,prvs_zoommapped,cmap='viridis')
plt.show()

好多了。

OpenCV 重映射插值错误？

OpenCV remap interpolation error?

python

opencv

interpolation

remap

spatial-interpolation