ELBO 是否包含变分自动编码器中的重建损失信息
Does ELBO contain the reconstruction loss info in variational autoencoders
这是一个与此相关的问题 - Variational autoencoder and reconstruction Log Probability vs Reconstruction error
我正在尝试了解如何优化变分自编码器。我读过它背后的数学原理，我想我理解变分推理的一般概念和用于潜在 space 的重新参数化技巧。
我见过一些 examples，其中使用交叉熵将输入和输出相互比较，并且 KL 散度在潜在变量上。然后将这种损失最小化。
另一方面，还有other examples使用对数概率和KL散度来生成证据下界（ELBO）。然后最小化ELBO值的负值。
在两者中，潜在 space 是根据输入的模式（例如 MNIST 中的数字）进行分区的。所以我想知道ELBO是否是或包含类似于重建损失的信息。
简短的回答是肯定的。 ELBO 实际上是一个平滑的 objective 函数，它是对数似然的下界。
我们选择最大化 log p(xlz) + KL(q(zlx) ll p(z))，而不是最大化 log p(x)，其中 x 是观察到的图像，其中 z 是来自编码器 q 的样本（zlx）。我们这样做是因为优化 ELBO 比 log p(x) 更容易。
然后项 p(xlz) 是一个负重构误差 - 我们想要在给定潜在变量 z 的情况下最大化 x 的可能性。
对于第一个例子：p(xlz) 是方差为 1 的高斯分布。
第二个例子：p(xlz)是伯努利分布，因为Mnist数字是黑白的。我们可以将每个像素建模为它的亮度。
希望对您有所帮助！
这是一个与此相关的问题 - Variational autoencoder and reconstruction Log Probability vs Reconstruction error
我正在尝试了解如何优化变分自编码器。我读过它背后的数学原理，我想我理解变分推理的一般概念和用于潜在 space 的重新参数化技巧。
我见过一些 examples，其中使用交叉熵将输入和输出相互比较，并且 KL 散度在潜在变量上。然后将这种损失最小化。
另一方面，还有other examples使用对数概率和KL散度来生成证据下界（ELBO）。然后最小化ELBO值的负值。
在两者中，潜在 space 是根据输入的模式（例如 MNIST 中的数字）进行分区的。所以我想知道ELBO是否是或包含类似于重建损失的信息。
简短的回答是肯定的。 ELBO 实际上是一个平滑的 objective 函数，它是对数似然的下界。
我们选择最大化 log p(xlz) + KL(q(zlx) ll p(z))，而不是最大化 log p(x)，其中 x 是观察到的图像，其中 z 是来自编码器 q 的样本（zlx）。我们这样做是因为优化 ELBO 比 log p(x) 更容易。
然后项 p(xlz) 是一个负重构误差 - 我们想要在给定潜在变量 z 的情况下最大化 x 的可能性。 对于第一个例子：p(xlz) 是方差为 1 的高斯分布。
第二个例子：p(xlz)是伯努利分布，因为Mnist数字是黑白的。我们可以将每个像素建模为它的亮度。
希望对您有所帮助！