贝叶斯方法:贝叶斯推理中哪些部分难以评估

Bayesian method: which part is hard to evaluate in Bayesian inference

我有一个关于贝叶斯后验推理的问题。

在贝叶斯推理中,假设我们给定一个模型p(x|\theta)和一个先验分布p(\theta),我们观察数据集D ={x_1,x_2 ,...,x_N},目标是估计通常难以处理的后验 p(\theta|D)。

有时我发现有些人选择评估联合 p(\theta,D) 因为这个联合分布与后验 p(\theta|D) = p(\theta,D)/p(D) 成正比,这背后的原因是什么? p(D) 不是很难评估吗?感谢您的任何建议。

您想通过找到最佳参数 \theta 来最大化 p(θ|D)。

这可以改写为argmax P( θ | D) P(D)

然而,P(D) 与 θ 无关。因此您可以忽略它或使用可读的数学符号

对于观测数据,贝叶斯定理可以表示为 p(T|x) = p(T,X)/p(X) = p(x|T)p(T)/p(X) X 和参数 T.

p(x|T) 通常被称为模型的 "likelihood" 组件 - 如果您指定模型,这在计算上很容易。同样,p(T) 给出您指定的模型先验。

你是对的,分母 p(X) 是一团糟,但正如@CAFEBABE 指出的那样,它独立于参数 T,因此它在功能上是一个常数。因此,后验分布通常被简化为 p(T|x) 与 p(x|T)p(T) 成正比。