平均场变分推理的更新
updates in mean-field variational inference
我想知道 ELBO 是否应该随着 变分参数 q_i 的每次更新而单调增加？我知道它应该在每次迭代中增加，但是对于每个 q_i?
的一次迭代中也是如此吗
是的，这也是事实。认为是坐标上升法：
q_i^t = argmax_{q_i} \cal{L}(q_1^{t}, ...,q_{i-1}^{t}, q_i, q_{i+1}^{t-1}, ..., q_n^{t-1}).
所以你总是在最大化。
我想知道 ELBO 是否应该随着 变分参数 q_i 的每次更新而单调增加？我知道它应该在每次迭代中增加，但是对于每个 q_i?
的一次迭代中也是如此吗是的，这也是事实。认为是坐标上升法：
q_i^t = argmax_{q_i} \cal{L}(q_1^{t}, ...,q_{i-1}^{t}, q_i, q_{i+1}^{t-1}, ..., q_n^{t-1}).
所以你总是在最大化。