用核密度估计计算 KL 散度

Question

我有两个不同长度的向量，我想使用 R 中的 density() 函数根据密度估计计算 DKL。

DKL 的方程式如下。

我想我可以用数值积分，比如说

kde1 = density(x)
kde2 = density(y)
f1 = approxfun(kde1$x,kde1$y,rule=2)
f2 = approxfun(kde2$x,kde2$y,rule=2)
kde_f = function(f1,f2){
  f1 * log2(f1/f2)
}

然后在 kde_f 上积分，例如

integrate(f = kde_f,lower=0, upper=100)

当然这样不行，但是我写这个是作为我想做的事情的主旨。我不知道如何进行，或者即使这有意义。任何帮助将不胜感激。

Answer 1

我想到了这个解决方案

kld_base = function(x,y,...){
  integrand = function(x,y,t){
    f.x =  approx(density(x)$x,density(x)$y,t)$y
    f.y =  approx(density(y)$x,density(y)$y,t)$y
    tmpRatio = f.x *(log2(f.x) - log2(f.y))
    tmpRatio = ifelse(is.infinite(tmpRatio),0,ifelse(is.na(tmpRatio),0,tmpRatio))
    return(tmpRatio)
  }
  return(integrate(integrand,-Inf,Inf,x = x,y = y,stop.on.error=FALSE)$value)
}

set.seed(13)
x = rnorm(100)
y = rnorm(100)
kld_base(x,y)
# [1] 0.06990757

我会暂时开放这个问题，如果有人有比我更好的解决方案，请随时发表评论。

用核密度估计计算 KL 散度

Computing the KL divergence with kernel density estimates

r

numerical-integration

kernel-density