相互情報量
相互情報量とは
2つの確率変数 \(X,Y\) に対して
\[
I(X;Y):=H(X)-H(X \mid Y)
\]
を \(X\) と \(Y\) の相互情報量という。 また、右辺の \(H(X)\) を事前エントロピー、\(H(X|Y)\) を事後エントロピーという。
相互情報量 \(I(X;Y)\) は \(Y\) を知ることによる \(X\) の驚き具合の減少分を表します。 相互情報量に関して、次の不等式が成り立ちます。
\[
0\le I(X;Y)\le H(X)
\]