相互情報量
相互情報量とは
定義（相互情報量）
2つの事象系 \(A,B\) に対して
\[
I(A;B):=H(A)-H(A|B)
\]
を \(A\) と \(B\) の相互情報量という。
また、右辺の \(H(A)\) を事前エントロピー、\(H(A|B)\) を事後エントロピーという。
相互情報量 \(I(A;B)\) は \(B\) を知ることによる \(A\) の驚き具合の減少分を表す。
相互情報量に関して、次の不等式が成り立つ。
\[
0\le I(A;B)\le H(A)
\]
演習問題
例題