如何平滑Python中的数据？

Question

我正在尝试使用 SciPy 的一维曲线的 B 样条表示来平滑下面显示的散点图。数据可用 here.

我使用的代码是：

import matplotlib.pyplot as plt
import numpy as np
from scipy import interpolate

data = np.genfromtxt("spline_data.dat", delimiter = '\t')
x = 1000 / data[:, 0]
y = data[:, 1]
x_int = np.linspace(x[0], x[-1], 100)
tck = interpolate.splrep(x, y, k = 3, s = 1)
y_int = interpolate.splev(x_int, tck, der = 0)

fig = plt.figure(figsize = (5.15,5.15))
plt.subplot(111)
plt.plot(x, y, marker = 'o', linestyle='')
plt.plot(x_int, y_int, linestyle = '-', linewidth = 0.75, color='k')
plt.xlabel("X")
plt.ylabel("Y")
plt.show()

我尝试更改样条的顺序和平滑条件，但我没有得到平滑的图。

B样条插值应该可以平滑数据，但哪里不对？任何其他方法来平滑此数据？

Answer 1

使用更大的平滑参数。例如，s=1000:

tck = interpolate.splrep(x, y, k=3, s=1000)

这会产生：

Answer 2

在您的具体情况下，您还可以尝试将 np.linspace 函数的最后一个参数更改为较小的数字，例如 np.linspace(x[0], x[-1], 10)。

演示代码：

import matplotlib.pyplot as plt
import numpy as np
from scipy import interpolate

data = np.random.rand(100,2)
tempx = list(data[:, 0])
tempy = list(data[:, 1])
x = np.array(sorted([point*10 + tempx.index(point) for point in tempx]))
y = np.array([point*10 + tempy.index(point) for point in tempy])
x_int = np.linspace(x[0], x[-1], 10)
tck = interpolate.splrep(x, y, k = 3, s = 1)
y_int = interpolate.splev(x_int, tck, der = 0)

fig = plt.figure(figsize = (5.15,5.15))
plt.subplot(111)
plt.plot(x, y, marker = 'o', linestyle='')
plt.plot(x_int, y_int, linestyle = '-', linewidth = 0.75, color='k')
plt.xlabel("X")
plt.ylabel("Y")
plt.show()

您还可以使用 pandas 中的 rolling_mean 平滑数据：

import pandas as pd

data = [...(your data here)...]

smoothendData = pd.rolling_mean(data,5)

rolling_mean的第二个参数是移动平均（rolling mean）周期。您还可以反转数据 'data.reverse'，以这种方式获取数据的 rolling_mean，并将其与前向滚动平均值相结合。另一种选择是指数加权移动平均线： Pandas: Exponential smoothing function for column

或使用带通滤波器： fft bandpass filter in python http://docs.scipy.org/doc/scipy/reference/signal.html

Answer 3

假设我们正在处理对某些现象的嘈杂观察，高斯过程回归可能也是一个不错的选择。有关噪声方差的知识可以包含在参数（块）中，并且可以使用最大似然估计找到其他参数。这是一个如何应用它的简单示例：

import matplotlib.pyplot as plt
import numpy as np
from sklearn.gaussian_process import GaussianProcess

data = np.genfromtxt("spline_data.dat", delimiter='\t')
x = 1000 / data[:, 0]
y = data[:, 1]
x_pred = np.linspace(x[0], x[-1], 100)

# <GP regression>
gp = GaussianProcess(theta0=1, thetaL=0.00001, thetaU=1000, nugget=0.000001)
gp.fit(np.atleast_2d(x).T, y)
y_pred = gp.predict(np.atleast_2d(x_pred).T)
# </GP regression>

fig = plt.figure(figsize=(5.15, 5.15))
plt.subplot(111)
plt.plot(x, y, marker='o', linestyle='')
plt.plot(x_pred, y_pred, linestyle='-', linewidth=0.75, color='k')
plt.xlabel("X")
plt.ylabel("Y")
plt.show()

这将给出：

如何平滑Python中的数据？

How to smoothen data in Python?

python

numpy

smooth

scipy

smoothing