条件互信息符号
Conditional mutual information notations
这可能是一个幼稚的问题,但我真的很难解决这个问题。我看过许多介绍互信息和条件互信息公式的论文和文章。他们通常用两种方式来写:
- first formula
和
- second formula
这些公式实际上是等价的吗? PX(x)
实际上与 P(x)
的意思相同吗?
PX(x)
确实和P(x)
一样。两者都代表概率P(X=x)
。这两个公式是等价的。您可以使用以下法则从第二个移动到第一个:P(A,B)/P(B)=P(A|B)
。然后将此定律应用于第二个公式,我们得到
p(x,y|z)/[p(x|z)p(y|z)]=[p(x,y,z)/p(z)]/[{p(x,z)/p(z)}*{p(y,z)/p(z)}]=
=[p(x,y,z)*p(z)]/[p(x,z)*p(y,z)]
最后一个转换来自取消 p(z)
之一。结果给了你第一个公式。
这可能是一个幼稚的问题,但我真的很难解决这个问题。我看过许多介绍互信息和条件互信息公式的论文和文章。他们通常用两种方式来写:
- first formula
和
- second formula
这些公式实际上是等价的吗? PX(x)
实际上与 P(x)
的意思相同吗?
PX(x)
确实和P(x)
一样。两者都代表概率P(X=x)
。这两个公式是等价的。您可以使用以下法则从第二个移动到第一个:P(A,B)/P(B)=P(A|B)
。然后将此定律应用于第二个公式,我们得到
p(x,y|z)/[p(x|z)p(y|z)]=[p(x,y,z)/p(z)]/[{p(x,z)/p(z)}*{p(y,z)/p(z)}]=
=[p(x,y,z)*p(z)]/[p(x,z)*p(y,z)]
最后一个转换来自取消 p(z)
之一。结果给了你第一个公式。