平均情報量（エントロピー）

平均情報量の定義

情報量の期待値を平均情報量（エントロピー）といい、次のように定義されます。

定義（平均情報量）

確率変数 \(X\) に対して

\[ H(X)=E[I(X)] \quad [\mathrm{bit}] \]

を \(X\) の平均情報量（エントロピー）という。

\(X\) が離散型確率変数の場合、確率質量関数 \(p(x)\) によって

\[ H(X)=\sum_{x}p(x)I(x)=-\sum_{x}p(x)\log p(x) \]

\(X\) が連続型確率変数の場合、確率密度関数 \(p(x)\) によって

\[ H(X)=\int_{X}p(x)I(x)dx=-\int_{X}p(x)\log p(x)dx \]

となります。

例題

ある地域では、年間、晴れの日は200日、雨の日は60日、雪の日は5日である。 この天気の平均情報量を求めよ。（小数第2位まで）

天気を \(X\) とすると

\[ \begin{align} H(X)&=E[I(X)] \\ &=\sum_{x}p(x)I(x) \\ &=-\sum_{x}p(x)\log_2p(x) \\ &=-\frac{200}{365}\log_2\frac{200}{365}-\frac{60}{365}\log_2\frac{60}{365}-\frac{5}{365}\log_2\frac{5}{365} \end{align} \]

エントロピー関数

2値をとる確率変数 \(X\in\{x_1,x_2\}\) を考え、確率質量関数を

\[ p(x)= \begin{cases} p & (x=x_1) \\ 1-p & (x=x_2) \end{cases} \quad (p\in[0,1]) \]

とします。 このとき \(X\) のエントロピーは

\[ \begin{align} H(X)&=-\sum_{x}p(x)\log_2p(x) \\ &=-p(x_1)\log_2p(x_1)-p(x_2)\log_2p(x_2) \\ &=-p\log_2p-(1-p)\log_2(1-p) \end{align} \]

となり、これは \(p\) の1変数関数と見ることができます。 この関数をエントロピー関数といい、次のように定義されます。

定義（エントロピー関数）

確率 \(p\in[0,1]\) に対して

\[ \mathcal{H}(p):=-p\log_2p-(1-p)\log_2(1-p) \]

をエントロピー関数という。

最大エントロピー

エントロピー関数

\[ \mathcal{H}(p)=-p\log_2p-(1-p)\log_2(1-p) \]

の最大値を考えます。

\(\mathcal{H}(p)\) を \(p\) で微分すると

\[ \begin{align} \frac{d\mathcal{H}}{dp} &=-\log_2p-\frac{1}{\log2}+\log_2(1-p)+\frac{1}{\log2}\\ &=-\log_2p+\log_2(1-p) \end{align} \]

よって

\[ \begin{align} \frac{d\mathcal{H}}{dp}=0&\Longleftrightarrow\log_2p=\log_2(1-p)\\ &\Longleftrightarrow p=1-p\\ &\Longleftrightarrow p=\frac{1}{2} \end{align} \]

このとき、増減表は次のようになります。

\(p\)\(0\)\(\cdots\)\(\displaystyle\frac{1}{2}\)\(\cdots\)\(1\)
\(\dfrac{d\mathcal{H}}{dp}\)\(+\)\(0\)\(-\)
\(H\)\(0\)↗\(1\)↘\(0\)

したがって、\(\mathcal{H}(p)\) は \(p=\displaystyle\frac{1}{2}\) で最大値 \(1\) をとります。 つまり、エントロピーが最大になるのは、事象が等確率で現れるときです。

一般に、\(n\) 元事象系のエントロピーが最大となるのは、\(n\) 個の事象の生起確率が等確率で \(\displaystyle\frac{1}{n}\) であるときです。

定理（最大エントロピー）

\(n\) 元事象系の最大エントロピー \(H_{\mathrm{max}}\) は

\[ H_{\mathrm{max}}=-\log_2\frac{1}{n}=\log_2n \]

で与えられる。

演習問題

問題

表が出る確率が \(\displaystyle\frac{1}{4}\) であるコインがある。 このコインを投げたとき、表が出る事象を \(H\) 、裏が出る事象を \(T\) とする。 次の問いに答えよ。

  1. コインを投げたときの結果の事象系 \(X\) を表せ。
  2. エントロピー \(H(X)\) を求めよ。 ただし、\(\log_23=1.585\) とする。
解答
  1. \( \displaystyle X=\begin{bmatrix} H & T \\ \frac{1}{4} & \frac{3}{4} \end{bmatrix} \)
  2. \( \begin{align} H(X)&=-\sum_{x\in X}P(x)\log_2P(x)\\ &=-P(H)\log_2P(H)-P(T)\log_2P(T)\\ &=-\frac{1}{4}\log_2\frac{1}{4}-\frac{3}{4}\log_2\frac{3}{4}\\ &=\frac{1}{4}\log_24+\frac{3}{4}\log_24-\frac{3}{4}\log_23\\ &=\frac{1}{2}+\frac{3}{2}-\frac{3}{4}\cdot1.585\\ &=0.81125 \end{align} \)