为什么 "scipy.optimize.minimize" 给我这么不合适？

Question

我有一个函数 y(x,z)，它有两个变量 x、z 和 6 个系数 a、b、c、d、e、f。我有 x ,z 的数据，假设为了测试目的，系数的数据。使用这些数据，我计算出我的 y.

然后我想用 x,z 的数据和计算出的 y 的数据拟合函数来得到系数并将它们与测试目的的比较。

import numpy as np
from scipy.optimize import minimize

x = np.array([0,0.25,0.5,0.75,1]) # data of variable x
z = np.array([0,0.25,0.5,0.75,1]) # data of variable z

def func(pars,x,z): #my function
    a,b,c,d,e,f = pars
    return a*x**2+b*x+c+d*z+e*z*x+f*z*x**2

a = np.array([1,1,1,1,1])  #define coefficients to get the y data and compare them later with fit
b = np.array([0.5,0.5,0.5,0.5,0.5])
c = np.array([0.25,0.25,0.25,0.25,0.25])
d = np.array([1,1,1,1,1])
e = np.array([0.5,0.5,0.5,0.5,0.5])
f = np.array([0.25,0.25,0.25,0.25,0.25])

y = []
y.append(func((a,b,c,d,e,f),x,z)) #calculate the y data
print(y)

def resid(pars,x,z,y): #residual function
    return ((func(pars,x,z) - y) ** 2).sum()

pars0 = np.array([0,0,0,0,0,0])
res = minimize(resid, pars0,args=(x,z,y), method='cobyla',options={'maxiter': 5000000})
print("a = %f , b = %f, c = %f, d = %f, e = %f, f = %f" % (res.x[0], res.x[1], res.x[2], res.x[3], res.x[4], res.x[5]))

我从拟合得到以下系数：

a = 1.181149 , b = 1.228558, c = 0.253053, d = 0.219143, e = 0.444941, f = 0.172369

与我计算 y 数据的系数相比，该拟合实际上并不符合我的要求。谁能解释一下为什么我的身材这么差？

P.S.: 如果有人想知道，我使用 cobyla 因为我必须稍后定义一些约束。这只是一个测试代码，用于找出我的问题所在（希望如此）。

Answer 1

看看 res.fun，在你的情况下 1e-5 实际上很合适。

很可能您找到了 objective 函数的局部最小值。为了更好地理解这种行为，请尝试下面的代码。这将为不同的起点生成不同的结果。正如您将看到的，您正在最小化，而不是最小化到全局最小值。要全局优化，您必须使用其他 approaches/methods。您还可以增加何时停止优化的标准。或者使用混合方法，从不同的初始点开始，解决局部最小化并取最佳值。

for i in range(10):
    pars0 = np.random.rand(6) * 1
    res = minimize(resid, pars0, args=(x,z,y), method='cobyla',options={'maxiter': 5000000})
    print("a = %f , b = %f, c = %f, d = %f, e = %f, f = %f" % (res.x[0], res.x[1], res.x[2], res.x[3], res.x[4], res.x[5]))
    print(res.fun)

尝试接近您正在寻找的解决方案的初始点。这很可能会产生全局结果。如果您不知道解决方案的模糊位置，您可能必须使用 hybrid/global 方法来最小化。

比如初始点：

pars0 = np.array([1,0.5,0.25,1,0.5,0.25]) + np.random.rand(6)*0.01

产生了一个非常合适的解决方案。

为什么 "scipy.optimize.minimize" 给我这么不合适？

Why does "scipy.optimize.minimize" gives me such a bad fit?

python

scipy

curve-fitting

minimize