結合エントロピーと条件付きエントロピー
結合エントロピー
2つの事象系 \(A,B\) を
\[
A=
\begin{bmatrix}
a_1 & a_2\\
P(a_1) & P(a_2)\\
\end{bmatrix},~~~~~
B=
\begin{bmatrix}
b_1 & b_2\\
P(b_1) & P(b_2)\\
\end{bmatrix}
\]
とするとき、\(A\) と \(B\) が同時に起こる事象を結合事象系といい
\[
AB=
\begin{bmatrix}
(a_1,~b_1) & (a_1,~b_2) & (a_2,~b_1) & (a_2,~b_2)\\
P(a_1,~b_1) & P(a_1,~b_2) & P(a_2,~b_1) & P(a_2,~b_2)\\
\end{bmatrix}
\]
と表す。
定義（結合エントロピー）
2つの完全事象系 \(A,B\) に対して
\[
H(AB)=-\sum_{a\in A,~b\in B}P(a,b)\log_2P(a,b)
\]
を \(A\) と \(B\) の結合エントロピーという。
条件付きエントロピー
\(A=a\) とわかっているときの \(B\) のエントロピーは
\[
H(B|A=a)=-\sum_{b\in B}p(b|a)\log_2p(b|a)
\]
定義（条件付きエントロピー）
2つの完全事象系 \(A,B\) に対して
\[
H(B|A)=-\sum_{a\in A}p(a)H(B|A=a)
\]
を \(A\) の元での \(B\) の条件付きエントロピーという。
例題
曜日に関する事象系を \(A\) 、外食の有無に関する事象系を \(B\) とし
\[
A=\{\text{平日},~\text{休日}\},~~~B=\{\text{外食},~\text{内食}\}
\]
とする。
ある人の外食習慣を調べたところ、次のことがわかった。
・平日に外食する確率は \(0.1\)・平日に外食しない確率は \(0.6\)
・休日に外食する確率は \(0.2\)
・休日に外食しない確率は \(0.1\)
- 結合エントロピー \(H(AB)\) を求めよ。
- 条件付きエントロピー \(H(B|A)\) を求めよ。
- 条件付きエントロピー \(H(A|B)\) を求めよ。
- まず、結合事象系は次のようになります。 \[ AB= \begin{bmatrix} (\text{平日},~\text{外食}) & (\text{平日},~\text{内食}) & (\text{休日},~\text{外食}) & (\text{休日},~\text{内食})\\ 0.1 & 0.6 & 0.2 & 0.1\\ \end{bmatrix} \] よって \[ \begin{align} H(AB)&=-0.1\log_2{0.1}-0.6\log_2{0.6}-0.2\log_2{0.2}-0.1\log_2{0.1}\\ &=1.57~\mathrm{bit} \end{align} \]
演習問題
例題