Scala Breeze Dirichlet 分布参数估计

Question

我正在尝试使用 Scala 的 breeze 库估计数据集的参数（Dirichlet 分布）。我已经有一个可用的 python (pandas/dataframes) 和 R 代码，但我很好奇如何在 Scala 中执行此操作。我也是 Scala 的新手。

我似乎无法让它工作。我想在语法上我没有正确的东西或其他东西。

我尝试使用的代码在这里：https://github.com/scalanlp/breeze/blob/master/math/src/main/scala/breeze/stats/distributions/Dirichlet.scala#L111

根据上面的代码：ExpFam[T,I]接受两个参数T和I。我不知道T和I是什么。 T 可以是密集矩阵吗？

我正在做的是：

# Creating a matrix. The values are counts in my case.
val mat = DenseMatrix((1.0, 2.0, 3.0),(4.0, 5.0, 6.0))

# Then try to get sufficient stats and then MLE. I think this where I doing something wrong.
val diri = new ExpFam[DenseMatrix[Double],Int](mat)
println(diri.sufficientStatisticFor(mat))

此外，如果有人有像这样的数据矩阵 DenseMatrix((1.0, 2.0, 3.0),(4.0, 5.0, 6.0)) 如何在 Scala 中估计参数 (Dirichlet)。

Answer 1

T 应该是 DenseVector，我应该是 Int。 ExpFam 目前未矢量化。

Answer 2

我对breeze的这方面不是很熟悉，但这对我有用：

val data = Seq(
  DenseVector(0.1, 0.1, 0.8),
  DenseVector(0.2, 0.3, 0.5),
  DenseVector(0.5, 0.1, 0.4),
  DenseVector(0.3, 0.3, 0.4)
)

val expFam = new Dirichlet.ExpFam(DenseVector.zeros[Double](3))

val suffStat = data.foldLeft(expFam.emptySufficientStatistic){(a, x) => 
  a + expFam.sufficientStatisticFor(x)
}

val alphaHat = expFam.mle(suffStat)
//DenseVector(2.9803000577558274, 2.325871404559782, 5.850530402841005)

结果与我自己用狄利克雷最大似然估计的代码得到的结果非常接近但不完全相同。差异可能归结为所使用的优化器的差异（我在 T.Minka paper 的第 1 节中使用定点迭代 (9)）和停止标准。

也许有更好的方法使用 breeze api;如果是这样，希望@dlwh 或其他更熟悉 breeze 的人会插话。

Scala Breeze Dirichlet 分布参数估计

Scala Breeze Dirichlet distribution parameter estimation

scala

dirichlet

scala-breeze

mle