泊松的变分期望

Question

我想知道变分期望的解析形式在哪里 \int q(f)logp(y|f) 泊松似然的 df 来自（使用对数 link 时）。

在文档中只提到可以近似难以处理的可能性，但是我对这个主题还不够熟悉，不知道到底用了什么。

    let g(.) be the inverse-link function, then this likelihood represents

    p(y_i | f_i) = Poisson(y_i | g(f_i) * binsize)

    Note:binsize
    For use in a Log Gaussian Cox process (doubly stochastic model) where the
    rate function of an inhomogeneous Poisson process is given by a GP.  The
    intractable likelihood can be approximated by gridding the space (into bins
    of size 'binsize') and using this Poisson likelihood.

你能告诉我那个近似方法吗？

谢谢。

Answer 1

Variational_expectations 是在 GPflow 进行近似（变分）推理时使用的可能性 class 上的方法。可能性没有被近似 per-se，但变分方法正在近似后验，并在这样做时计算 ELBO，其中一部分是 variational_expectations。

计算

E_{q(f_n)} [ log p(y_n | f_n) ]

其中 q(f_n) 是 mean/variance Fmu/Fvar 的高斯分布。对于 log/exp link 的泊松似然，我们有（忽略 binsize）：

log p(y_n | f_n) = 泊松(y_n, exp(f_n))

等于

y_n * tf.log(tf.exp(f_n)) - exp(f_n) - tf.lgamma(y_n + 1.)

为了计算期望，我们需要知道 f_n 的期望（因为 log(exp(f_n)) = f_n）和 exp(f_n).它们是 mu 和 exp(mu + var / 2)。插入它给出

E_{q(f_n)} [ log p(y_n | f_n) ] = y_n * mu_n - exp(mu_n + var_n/2) - tf.lgamma(y_n + 1.)

这是在泊松 class 的 variational_expectations 方法中实现的。

泊松的变分期望

Variational Expectation of Poisson

gpflow