Scipy rv_continuous fit 不检查输入数据边界

Question

我正在将合成数据拟合到 scipy 中的各种分布，但是，我观察到了一些意想不到的结果。我的数据包含负数，当我在固定位置和比例时将这些数据拟合到具有非负支持的分布时，我没有收到错误。我的代码如下：

import scipy.stats as st
import numpy as np
import pandas as pd

np.random.seed(7)
test_data = pd.Series(0.5 + 0.1*np.sin(np.linspace(0, 3*np.pi, 100)) + 0.5*np.random.normal(0,1,size=100))
print(np.min(test_data))

哪个returns:

-0.5900934692403015

确认我产生了负面观察结果。当我拟合 scipy lognorm 时，它具有非包容性非负支持，我得到了违反数据边界的错误的预期结果：

st.lognorm.fit(test_data, floc=0, fscale=1)

---------------------------------------------------------------------------
FitDataError                              Traceback (most recent call last)
<ipython-input-13-fbeaae8f3c2e> in <module>
----> 1 st.lognorm.fit(test_data, floc=0, fscale=1)

~\Miniconda3\lib\site-packages\scipy\stats\_continuous_distns.py in fit(self, data, *args, **kwds)
   5087             data = data - floc
   5088         if np.any(data <= 0):
-> 5089             raise FitDataError("lognorm", lower=floc, upper=np.inf)
   5090         lndata = np.log(data)
   5091 

FitDataError: Invalid values in `data`.  Maximum likelihood estimation with 'lognorm' requires that 0.0 < x < inf for each x in `data`.

然而，对于以下分布，我能够拟合数据，尽管事实上所有这些分布都具有非负数据边界（由其 scipy 文档定义）和固定位置和比例.

st.burr.fit(test_data, floc=0, fscale=1)

st.expon.fit(test_data)

st.chi2.fit(test_data, floc=0, fscale=1)

st.invgauss.fit(test_data, floc=0, fscale=1)

st.invgamma.fit(test_data, floc=0, fscale=1)

产量：

(4.435119987970436, 0.32475585134451646, 0, 1)
(-0.5900934692403015, 1.1171187649605647)
(1.349414062500001, 0, 1)
(0.6815429687499996, 0, 1)
(2.301074218750003, 0, 1)

此外，没有任何形状参数的分布指数能够执行，这令人惊讶。如果有人可以解释这些分布如何能够适应数据，尽管它们的支持范围已被违反，我将非常感激。

我是运行 numpy 1.19.2 和 scipy 1.5.2

谢谢！

Answer 1

那些 fit 没有抛出任何错误的事实并不意味着它们很合适或者它们可以描述您的数据。

我正在使用 scipy==1.6.1。

您可以查看绘图结果

x = np.linspace(test_data.min(), test_data.max(), 100)

毛刺：没有错误，bu无法描述数据<0

burr_pars = sps.burr.fit(test_data, floc=0, fscale=1)
y = sps.burr(*burr_pars).pdf(x)
plt.plot(x, y)
plt.hist(test_data, alpha=.5, density=True);

Expon：没有错误，但非常不合适

expon_pars = sps.expon.fit(test_data)
y = sps.expon(*expon_pars).pdf(x)
plt.plot(x, y)
plt.hist(test_data, alpha=.5, density=True);

Chi2：没有错误，但非常不合适，无法描述数据 <0

chi2_pars = sps.chi2.fit(test_data, floc=0, fscale=1)
y = sps.chi2(*chi2_pars).pdf(x)
plt.plot(x, y)
plt.hist(test_data, alpha=.5, density=True);

Invgauss: 错误

invgauss_pars = sps.invgauss.fit(test_data, floc=0, fscale=1)
FitDataError: Invalid values in `data`.  Maximum likelihood estimation with 'invgauss' requires that 0 < (x - loc)/scale  < inf for each x in `data`.

如果您不设置位置和比例，则 x>=0 时效果最佳，但鉴于其 PDF 的公式，没有理由在 x<0

时抛出错误

invgauss_pars = sps.invgauss.fit(test_data)
y = sps.invgauss(*invgauss_pars).pdf(x)
plt.plot(x, y)
plt.hist(test_data, alpha=.5, density=True);

Invgamma：警告，不适合且无法描述 x<0

invagamm_pars = sps.invgamma.fit(test_data, floc=0, fscale=1)
y = sps.invgauss(*invagamm_pars).pdf(x)
plt.plot(x, y)
plt.hist(test_data, alpha=.5, density=True);
RuntimeWarning: invalid value encountered in double_scalars
  Lhat = muhat - Shat*mu

编辑

从 https://github.com/scipy/scipy/blob/v1.6.3/scipy/stats/_continuous_distns.py 可以看出 FitDataError 仅被 beta、expon 调用（但如果 floc is None 则 floc = data_min）， gamma、invgauss（但只有 np.any(data - floc < 0)）、lognorm、pareto、rayleigh、uniform.

对于其他发行版 FitDataError 未实现。

Scipy rv_continuous fit 不检查输入数据边界

Scipy rv_continuous fit does not check input data bounds

python

statistics

numpy

distribution

scipy

编辑