結合エントロピーと条件付きエントロピー

結合エントロピー

結合エントロピーは、2つの確率変数 \(X,Y\) に対して定義され、\(X\) と \(Y\) を同時に知らないときの不確実性を表す量です。

定義（結合エントロピー）

2つの確率変数 \(X,Y\) に対して

\[ p(x,y)=P(X=x,~Y=y) \]

とするとき

\[ H(X,Y)=-\sum_{x}\sum_{y}p(x,y)\log_2p(x,y) \]

を \(X\) と \(Y\) の結合エントロピーという。

条件付きエントロピー

2つの確率変数 \(X,Y\) があり、\(X=x\) とわかっているときの \(Y\) のエントロピー

\[ H(Y \mid X=x)=-\sum_{y}p(y \mid x)\log_2p(y \mid x) \]

を考えます。 ただし、\(p(y \mid x)=P(Y \mid X=x)\) です。 このエントロピー \(H(Y \mid X=x)\) は \(x\) の値によるため、\(x\) について平均化すると

\[ \begin{align} &\sum_xp(x)H(Y \mid X=x)\\ &=-\sum_xp(x)\sum_{y}p(y \mid x)\log_2p(y \mid x) \\ &=-\sum_x\sum_{y}p(x)p(y \mid x)\log_2p(y \mid x) \\ &=-\sum_x\sum_{y}p(x,y)\log_2p(y \mid x) \end{align} \]

が得られます。 これを条件付きエントロピーといい、次のように定義されます。

定義（条件付きエントロピー）

2つの確率変数 \(X,Y\) に対して

\[ p(x,y)=P(X=x,~Y=y) \] \[ p(y \mid x)=P(Y=y \mid X=x) \]

とするとき

\[ H(Y \mid X)=-\sum_{x}p(x,y)\log_2p(y \mid x) \]

を \(X\) の元での \(Y\) の条件付きエントロピーという。

例題

例題

曜日に関する事象系を \(A\) 、外食の有無に関する事象系を \(B\) とし

\[ A=\{\text{平日},~\text{休日}\},~~~B=\{\text{外食},~\text{内食}\} \]

とする。 ある人の外食習慣を調べたところ、次のことがわかった。

  • 平日に外食する確率は \(0.1\)
  • 平日に外食しない確率は \(0.6\)
  • 休日に外食する確率は \(0.2\)
  • 休日に外食しない確率は \(0.1\)

このとき、以下の問いに答えよ。

  1. 結合エントロピー \(H(AB)\) を求めよ。
  2. 条件付きエントロピー \(H(B|A)\) を求めよ。
  3. 条件付きエントロピー \(H(A|B)\) を求めよ。
  1. まず、結合事象系は次のようになります。 \[ AB= \begin{bmatrix} (\text{平日},~\text{外食}) & (\text{平日},~\text{内食}) & (\text{休日},~\text{外食}) & (\text{休日},~\text{内食})\\ 0.1 & 0.6 & 0.2 & 0.1\\ \end{bmatrix} \] よって \[ \begin{align} H(AB)&=-0.1\log_2{0.1}-0.6\log_2{0.6}-0.2\log_2{0.2}-0.1\log_2{0.1}\\ &=1.57~\mathrm{bit} \end{align} \]

演習問題

問題