在 2 个数组 'valid' 之间移动均方误差，它们完全重叠

Question

我有一个嘈杂的方形信号，看起来像这样：

振幅已知。为了匹配完整的正方形，我可以创建正方形的图案并应用 np.correlate 来查找信号和图案最大重叠的位置。我想应用类似的方法来找到边缘，尝试与以下 2 种模式相关联：

由于相关性只不过是一个卷积，所以这是行不通的。一半的模式等于0，这一半的卷积将return 0 无论在信号上的位置如何；而另一半等于 -X，幅度为 X。当信号幅度最大时，与信号卷积的后半部分将最大。在信号图上，您可以观察到方形并不完美，开始时的振幅略大。基本上，两种相关性都会导致正方形开始处的匹配，此处卷积最大。未检测到斜坡上升（正方形的末端）。

为了避免这个问题，我想使用不同的操作。因为我知道方波信号的振幅，所以我可以生成具有正确振幅的模式，在本例中约为 -0.3。因此，我想采用模式并将其滑过信号。在每一步，我都会计算均方误差，并且我的模式将与均方误差最小化位置的信号相匹配。此外，我想使用与卷积相同类型的设置，'valid'，其中仅当两个数组完全重叠时才执行操作。

你知道其他方法吗？ and/or 我应该使用哪个函数、方法？ 我找不到一个完整的函数行 np.convolve 或 np.correlate.

编辑：因为我在库中找不到预编码函数，所以我用 while 循环编写了我的函数。效率很低...已在 here 代码审查中进行升级。

Answer 1

因为你的噪音很小，所以你可以计算出信号随循环急剧变化的位置，例如：

for i in range(begin+10,end):
    if(abs(data[i-10]-data[i])>0.1):
        foundChange()

Answer 2

我认为convolving/correlating你的带有阶跃函数的信号仍然非常接近最优解，因为这类似于matched filtering，可以证明是最优的（在某些条件下），噪声可能需要是高斯分布的）。

您遇到的唯一问题是您的模板（阶跃函数）包含 DC 部分。删除它，会给你你想要的结果：

import numpy as np
import matplotlib.pyplot as plt


# simulate the signal
signal = np.zeros(4000)
signal[200:-400] = -0.3
signal += 0.005 * np.random.randn(*signal.shape)

plt.plot(signal)
plt.title('Simulated signal')
plt.show()


# convolve with template with non-zero DC
templ = np.zeros(200)
templ[100:] = 1  # step from 0 to 1
plt.plot(np.convolve(signal, templ))
plt.title('Convolution with template with DC component')
plt.show()

# convolve with template without DC
templ_ac = templ - templ.mean()  # step from -0.5 to +0.5
plt.plot(np.convolve(signal, templ_ac))
plt.title('Convolution with template without DC component')
plt.show()

结果：

理解这个的方法是 convolve(signal, template) = convolve(signal, template_DC) + convolve(signal, template_AC)，其中 template_DC = mean(template) 和 template_AC = template - template_DC。第一部分是信号与平面模板的卷积，这只是信号的平滑版本。第二部分是你想要的 'edge detection' 信号。如果不减去模板的AC部分，无趣的第一部分会压倒有趣的部分。

请注意，模板的缩放比例并不重要，模板中的步长不必为 0.3。这只会在最终结果中产生比例因子。另请注意，此方法不依赖于步长的确切值，因此信号中较大的步长会对边缘检测产生很大影响。

如果您知道步长始终恰好为 0.3，并且您希望对不同振幅的步长不敏感，您可以使用模板对信号进行某种最小二乘拟合，对于每一个可能的偏移模板化，并且只有在残差足够小的情况下才触发边缘检测。这会很慢，但可能会更好地拒绝幅度错误的步骤。

在 2 个数组 'valid' 之间移动均方误差，它们完全重叠

Moving mean square error between 2 arrays, 'valid', where they fully overlap

python

numpy

convolution

correlation