`GPyTorch` 中的简单二维高斯过程不适合

Question

我在使用 GPyTorch 安装一个开箱即用的简单二维 GP 时遇到了很多困难。正如您在下面看到的，拟合度非常差，并且将 RBF 内核换成 Matern 之类的东西也没有太大改善。优化似乎确实收敛了，但没有任何合理的东西。

class GPRegressionModel(gpytorch.models.ExactGP):
    def __init__(self, train_x, train_y, likelihood):
        super(GPRegressionModel, self).__init__(train_x, train_y, likelihood)

        self.mean_module = gpytorch.means.ConstantMean()
        self.covar_module = gpytorch.kernels.ScaleKernel(
                gpytorch.kernels.RBFKernel(ard_num_dims=2),
            )

    def forward(self, x):
        mean_x = self.mean_module(x)
        covar_x = self.covar_module(x)
        return gpytorch.distributions.MultivariateNormal(mean_x, covar_x)

除了文档中包含的示例之外，还有其他好的教程示例吗？

Answer 1

在尝试拟合高维高斯过程时，我运行遇到了类似的问题。一些建议（不确定这些是否有效）：

尝试使用 ZeroMean，而不是常量平均值。可能是拥有更多的超参数（常数平均超参数值）可能导致 -mll objective 达到局部最小值，而不是全局最小值。使用不同的优化器，例如lbfgs（这是二阶的，而不是 adam 或 sgd，它们都是一阶的）也可能对此有所帮助。
尝试使用 min-max 标准化来标准化您的 输入数据 ，以及您的目标使用 标准正态 N(0,1) 归一化。简而言之，这些规范化步骤可确保您的数据与这些 GPR 模型的默认先验一致。有关这方面的更多信息，请查看 this GitHub issue.
尝试更改学习率以优化您的超参数，或者您为此训练的轮数。
如果您发现数值精度有任何问题（特别是在归一化之后，如果您选择使用它），请尝试通过将 torch 张量转换为双精度来将模型和数据集更改为双精度 64 位精度-具有 tensor.double().
的精度张量

同样，不能保证这些会解决您运行遇到的问题，但希望它们能有所帮助！

Here are some tutorials I've put together as well.

`GPyTorch` 中的简单二维高斯过程不适​​合

Poor fits for simple 2D Gaussian processes in `GPyTorch`

pytorch

gpytorch

`GPyTorch` 中的简单二维高斯过程不适合