条件互信息符号

Conditional mutual information notations

这可能是一个幼稚的问题,但我真的很难解决这个问题。我看过许多介绍互信息和条件互信息公式的论文和文章。他们通常用两种方式来写:

  1. first formula

  1. second formula

这些公式实际上是等价的吗? PX(x) 实际上与 P(x) 的意思相同吗?

PX(x)确实和P(x)一样。两者都代表概率P(X=x)。这两个公式是等价的。您可以使用以下法则从第二个移动到第一个:P(A,B)/P(B)=P(A|B)。然后将此定律应用于第二个公式,我们得到

p(x,y|z)/[p(x|z)p(y|z)]=[p(x,y,z)/p(z)]/[{p(x,z)/p(z)}*{p(y,z)/p(z)}]=
=[p(x,y,z)*p(z)]/[p(x,z)*p(y,z)]

最后一个转换来自取消 p(z) 之一。结果给了你第一个公式。