绘制 Scipy optimize.minimize 每次迭代的收敛结果？

Question

我想使用 scipy.optimize.minimize 对我的优化例程进行一些测试，特别是在多次测试中绘制每次迭代的收敛（或更确切地说 objective 函数）。

假设我有以下线性约束二次优化问题：

minimise: x_i Q_ij x_j + a|x_i|

subject to: sum(x_i) = 1

我可以将其编码为：

def _fun(x, Q, a):
    c = np.einsum('i,ij,j->', x, Q, x)
    p = np.sum(a * np.abs(x))
    return c + p
def _constr(x):
    return np.sum(x) - 1

我将在 scipy 中实施优化为：

x_0 = # some initial vector
x_soln = scipy.optimise.minimize(_fun, x_0, args=(Q, a), method='SLSQP', 
                                 constraints={'type': 'eq', 'fun': _constr})

我看到有一个 callback 参数 但它在每次迭代时只接受一个参数值参数 。我如何在更深奥的情况下利用它，在这种情况下，我可能有其他参数需要提供给我的回调函数？

Answer 1

我解决这个问题的方法是使用每次从我的回调函数引用的通用回调缓存对象。假设您要进行 20 次测试并在每次迭代后在同一图表中绘制 objective 函数。您将需要一个外部循环来进行运行 20 次测试，但我们稍后会创建它。

首先让我们创建一个 class，它将为我们存储所有迭代 objective 函数值，以及一些额外的点点滴滴：

class OpObj(object):
    def __init__(self, Q, a):
        self.Q, self.a = Q, a
        rv = np.random.rand()
        self.x_0 = np.array([rv, (1-rv)/2, (1-rv)/2])
        self.f = np.full(shape=(500,), fill_value=np.NaN)
        self.count = 0
    def _fun(self, x):
        return _fun(x, self.Q, self.a)

还可以添加一个回调函数来操作 class obj。现在不要担心它有多个参数，因为我们稍后会解决这个问题。只需确保第一个参数是解决方案变量。

def cb(xk, obj=None):
    obj.f[obj.count] = obj._fun(xk)
    obj.count += 1

这一切所做的就是使用对象的函数和值来更新自身，计算每次迭代的次数。每次迭代后都会调用此函数。

将所有这些放在一起我们还需要两件事：1) 一些 matplotlib-ing 来绘制，并将回调固定为只有一个参数。我们可以使用装饰器来做到这一点，这正是 functools partial 所做的。它 returns 是一个参数比原来少的函数。所以最终代码如下所示：

import matplotlib.pyplot as plt
import scipy.optimize as op
import numpy as np
from functools import partial

Q = np.array([[1.0, 0.75, 0.45], [0.75, 1.0, 0.60], [0.45, 0.60, 1.0]])
a = 1.0

def _fun(x, Q, a):
    c = np.einsum('i,ij,j->', x, Q, x)
    p = np.sum(a * np.abs(x))
    return c + p
def _constr(x):
    return np.sum(x) - 1

class OpObj(object):
    def __init__(self, Q, a):
        self.Q, self.a = Q, a
        rv = np.random.rand()
        self.x_0 = np.array([rv, (1-rv)/2, (1-rv)/2])
        self.f = np.full(shape=(500,), fill_value=np.NaN)
        self.count = 0
    def _fun(self, x):
        return _fun(x, self.Q, self.a)

def cb(xk, obj=None):
    obj.f[obj.count] = obj._fun(xk)
    obj.count += 1

fig, ax = plt.subplots(1,1)
x = np.linspace(1,500,500)
for test in range(20):
    op_obj = OpObj(Q, a)
    x_soln = op.minimize(_fun, op_obj.x_0, args=(Q, a), method='SLSQP',
                         constraints={'type': 'eq', 'fun': _constr},
                         callback=partial(cb, obj=op_obj))
    ax.plot(x, op_obj.f)

ax.set_ylim((1.71,1.76))
plt.show()

绘制 Scipy optimize.minimize 每次迭代的收敛结果？

Graphing Scipy optimize.minimize convergence results each iteration?

python

optimization

matplotlib

minimize

scipy