约束全局优化调整 [mystic]

Question

背景

汽车应用程序的自动调谐器：应用程序可能会根据汽车型号而变化，因此 objective 功能自然也会发生变化。问题是将参数调整为特定车型的最佳参数。输入：车型，输出：特定车型应用的最佳参数。我想通过优化解决这个问题

我试图最小化一个复杂的非线性函数，该函数受到两个非线性约束的约束，一个不等式和一个等式约束。这个问题本身并没有限制，但我已经对参数设置了限制以帮助加速优化，因为我或多或少知道正确参数的位置。参数是：[x0,x1,x2,x3]

我已经将 scipy.optimize.minimize() 函数与 SLSQP 方法一起使用，并且在问题被正确界定时发现了很好的结果。虽然，scipy.optimize.minimize() 函数是一个本地优化器并解决了 QP 问题，但我认为我的问题不是。因此，我开始使用 mystic,(mystic.differential_evolution) 的全局优化方法。由于我不是全局优化方面的专家，所以我自然会有一些疑问。

问题

如果我选择的边界太宽，优化器 (mystic.differential_evolution) 将在一段时间后停止迭代并打印：

STOP("ChangeOverGeneration with {'tolerance': 0.005, 'generations': 1500}")

当我运行优化器找到的解决方案时，我发现结果不如我降低（缩小）边界那么好。显然全局优化器还没有找到全局最优，但它停止了迭代。我知道有多个参数集产生相同的全局最小值。

由于 objective 函数可能会随着汽车型号的变化而变化，因此我希望边界保持相对宽泛，以防全局最优值发生变化，从而改变正确的参数。

问题

如何调整优化器的设置以使其继续搜索并找到全局最优值？
npop = 10*dim 规则是解决问题的好方法吗？
我能否拓宽优化器搜索算法的视野，让它找到它错过的最佳参数？

代码

def optimize_mystic_wd(T, param_wp, w_max, safe_f):
# mystic
import mystic
from mystic.monitors import VerboseLoggingMonitor
from mystic.penalty import quadratic_inequality
from mystic.penalty import quadratic_equality
from mystic.solvers import diffev2
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D


# tools
from mystic.tools import getch
import pylab
import numpy as np



def objective(x):
    from model_func import model
    [val, _] = model(param_wp, x)
    return -val


def penalty1(x):  # <= 0.0
    t = np.linspace(0, T, 100)
    wd = (x[0] * np.sin(x[1] * t + x[3]) + x[2])
    index = np.argmax(wd)
    t_max = t[index]
    return ((x[0] * np.sin(x[1] * t_max + x[3]) + x[2])) -2*np.pi

def penalty2(x):  # == 0.0
    return x[0] * (np.cos(x[3]) - np.cos(x[1] * T + x[3])) / x[1] + x[2] * T - 2 * np.pi

@quadratic_inequality(penalty1, k=1e12)
@quadratic_equality(penalty2, k=1e12)
def penalty(x):
    return 0.0

b1 = (0, 2*np.pi)
b2 = (0, 2 * np.pi/(2*T))
b3 = (0, 2*np.pi)
b4 = (0, 2*np.pi/T)
bounds = [b1, b2, b3, b4]

stepmon = VerboseLoggingMonitor(1,1)
result = diffev2(objective, x0=bounds, bounds=bounds, penalty=penalty, npop=40, gtol=1500, disp=True, full_output=True, itermon=stepmon, handler=True, retall=True, maxiter=4000)

Answer 1

我是 mystic 作者。

关于您的问题：

差异进化可能很棘手。它会随机改变您的候选解决方案向量，并接受可提高成本的更改。默认停止条件是当 ngen 步数没有改善时退出。这意味着如果求解器提前停止，它可能甚至不在局部最小值中。但是，有几种方法可以帮助确保求解器有更好的机会找到全局最小值。
- 增加ngen，没有改善的步数。
- 增加npop，每次迭代的候选解数。
- 增加可能的最大迭代次数和函数求值。
- 选择一个不使用 ngen 的不同终止条件。就个人而言，我通常使用非常大的 ngen 作为第一种方法。结果是求解器将倾向于运行很长时间，直到它随机找到全局最小值。这是差异进化的预期。
是。
我不确定你最后一个问题的意思。使用 mystic，您当然可以在优化器启动时或沿途的任何时候扩大参数范围。如果您使用 class 接口（DifferentialEvolutionSolver 而不是 "one-liner" diffev），那么您可以选择：
- 在过程中的任何时候保存解算器的状态
- 使用不同的求解器参数重新启动求解器，包括范围。
- Step 优化器通过优化，可能在任何一步改变范围（或约束，或惩罚）。
- 通过添加（或删除）约束或惩罚来限制（或删除限制）求解器的范围。

最后，您可能想看看 mystic 的 ensemble 求解器，它使您能够从分布中采样 N 个优化器，每个优化器具有不同的初始条件。在这种情况下，您会选择快速的本地求解器……目的是快速搜索本地 space，但对分布进行采样有助于确保您在全球范围内进行了搜索。这就像传统的网格搜索，但优化器从 "grid" 的每个点开始（并使用分布，不一定是网格）。

我可能还建议看一下 this example，它演示了如何使用 mystic.search.Searcher，其目的是（例如）有效地保持生成求解器寻找局部最小值，直到找到所有局部最小值，因此也是全局最小值。

约束全局优化调整 [mystic]

Constrained global optimization tuning [mystic]

python

scipy

nonlinear-optimization

mystic

背景

问题

问题

代码