GPflow 2 自定义内核构造：构造时很好，但优化中大小为 None 的内核

Question

我正在创建一些 GPflow 模型，其中我需要阈值 x0 的预观察和 post 先验独立。我可以仅使用 GP 模型或使用具有无限陡度的 ChangePoints 内核来实现此目的，但这两种解决方案都不适用于我未来的扩展（尤其是 MOGP）。

我想我可以很容易地从头开始构建我想要的东西，所以我创建了一个新的组合内核对象，它使用适当的子内核预或 post x0。当我在一组输入点上评估内核时，这会按预期工作；阈值前后点之间的预期相关性为零，其余由子内核确定：

import numpy as np
import gpflow
from gpflow.kernels import Matern32
import matplotlib.pyplot as plt
import tensorflow as tf
from gpflow.kernels import Combination


class IndependentKernel(Combination):

    def __init__(self, kernels, x0, forcing_variable=0, name=None):

        self.x0 = x0
        self.forcing_variable = forcing_variable
        super().__init__(kernels, name=name)

    def K(self, X, X2=None):
        # threshold X, X2 based on self.x0, and construct a joint tensor
        if X2 is None:
            X2 = X

        fv = self.forcing_variable
        mask = tf.dtypes.cast(X[:, fv] >= self.x0, tf.int32)

        X_partitioned = tf.dynamic_partition(X, mask, 2)
        X2_partitioned = tf.dynamic_partition(X2, mask, 2)

        K_pre = self.kernels[0].K(X_partitioned[0], X2_partitioned[0])
        K_post = self.kernels[1].K(X_partitioned[1], X2_partitioned[1])

        zero_block_1 = tf.zeros([K_pre.shape[0], K_post.shape[1]], tf.float64)
        zero_block_2 = tf.zeros([K_post.shape[0], K_pre.shape[1]], tf.float64)
        upper_row = tf.concat([K_pre, zero_block_1], axis=1)
        lower_row = tf.concat([zero_block_2, K_post], axis=1)

        return tf.concat([upper_row, lower_row], axis=0)

    #
    def K_diag(self, X):
        fv = self.forcing_variable
        mask = tf.dtypes.cast(X[:, fv] >= self.x0, tf.int32)

        X_partitioned = tf.dynamic_partition(X, mask, 2)
        return tf.concat([self.kernels[0].K_diag(X_partitioned[0]),
                          self.kernels[1].K_diag(X_partitioned[1])],
                         axis=1)

    #
#


def f(x):
    return np.sin(6*(x-0.7))


x0 = 0.3
n = 100
x = np.linspace(0, 1, n)
sigma = 0.5
y = np.random.normal(loc=f(x), scale=sigma)
fv = 0
X = x[:, None]

kernel = IndependentKernel([Matern32(), Matern32()], x0=x0, name='indep')
x_pred = np.linspace(0, 1, 100)

K = kernel.K(x_pred[:, None])  # <- kernel is evaluated correctly here

但是，当我想用这个内核训练 GPflow 模型时，我收到错误消息 TypeError: Expected int32, got None of type 'NoneType' instead. 这似乎是由子内核矩阵 K_pre 和 K_post 引起的大小为 (None, 1)，而不是预期的正方形（如果我评估内核 'manually'，它们是正确的）。

m = gpflow.models.GPR(data=(X, y[:, None]), kernel=kernel)

gpflow.optimizers.Scipy().minimize(m.training_loss,
                                   m.trainable_variables,
                                   options=dict(maxiter=10000),
                                   method="L-BFGS-B")  # <- K_pre & K_post are of size (None, 1) now?

我该怎么做才能使内核正确训练？

我正在使用 GPflow 2.1.3 和 TensorFlow 2.4.1。

Answer 1

这不是 GPflow 问题，而是 TensorFlow 的 eager vs graph 模式的微妙之处：在 eager 模式下（这是当您“手动”与张量交互时的默认行为，如调用内核）K_pre.shape 按预期工作。在 graph 模式下（这是当您将代码包装在 tf.function() 中时发生的情况，这通常并不总是有效（例如，形状可能取决于 tf.Variables 和 None 形状），你必须使用 tf.shape(K_pre) 来获得 dynamic 形状（这取决于内部的实际 values变量）。GPflow 的 Scipy class 默认情况下将损失和梯度计算包装在 tf.function() 内以加速优化。如果您通过将 compile=False 传递给 minimize() 明确关闭此功能呼叫，您的代码示例运行没问题。如果您将 .shape 属性替换为 tf.shape() 调用以正确修复它，它同样会运行正常。

GPflow 2 自定义内核构造：构造时很好，但优化中大小为 None 的内核

GPflow 2 custom kernel construction: fine upon construction, but kernel of size None in optimization

python

tensorflow

gpflow

gaussian-process