平均情報量（エントロピー）
平均情報量とは
定義（平均情報量）
完全事象系 \(A\) に対して
\[
H(A)=-\sum_{a\in A}P(a)\log_2P(a)~~~[\mathrm{bit}]
\]
を \(A\) の平均情報量（エントロピー）という。
例題
ある地域では、年間、晴れの日は200日、雨の日は60日、雪の日は5日である。この天気の平均情報量を求めよ。（小数第2位まで）
解答
\[
H=P(A)I(A)+P(B)I(B)+P(C)I(C)
\]
最大エントロピー
平均情報量（エントロピー）の最大値を最大エントロピーという。
2元事象系の最大エントロピー
表が出る確率が \(p\) であるコインを1回投げるときの、最大エントロピーを考えてみる。このとき、事象系は次のようになる。
\[
X=
\begin{bmatrix}
\text{表} & \text{裏}\\
p & 1-p
\end{bmatrix}
\]
エントロピーは
\[
\begin{align}
H(X)&=-\sum_{x\in X}P(x)\log_2P(x)\\
&=-p\log_2p-(1-p)\log_2(1-p)
\end{align}
\]
この最大値を求めたい。
\(H\) を \(p\) で微分すると
\[
\begin{align}
\frac{dH}{dp}
&=-\log_2p-\frac{1}{\log2}+\log_2(1-p)+\frac{1}{\log2}\\
&=-\log_2p+\log_2(1-p)
\end{align}
\]
よって
\[
\begin{align}
\frac{dH}{dp}=0&\Longleftrightarrow\log_2p=\log_2(1-p)\\
&\Longleftrightarrow p=1-p\\
&\Longleftrightarrow p=\frac{1}{2}
\end{align}
\]
増減表は次のようになる。
したがって、\(H\) は \(p=\displaystyle\frac{1}{2}\) で最大値 \(1\) をとる。
つまり、エントロピーが最大になるのは表、裏が出る確率が等確率であるときとわかる。
| \(p\) | \(0\) | \(\cdots\) | \(\displaystyle\frac{1}{2}\) | \(\cdots\) | \(1\) |
| \(\displaystyle\frac{dH}{dp}\) | \(+\) | \(0\) | \(-\) | ||
| \(H\) | \(0\) | ↗ | \(1\) | ↘ | \(0\) |
\(n\) 元事象系の最大エントロピー
一般に、\(n\) 元事象系のエントロピーが最大となるのは、\(n\) 個の事象の生起確率が等確率で、\(\displaystyle\frac{1}{n}\) であるときである。
定理（最大エントロピー）
\(n\) 元事象系の最大エントロピー \(H_{\mathrm{max}}\) は
\[
H_{\mathrm{max}}=-\log_2\frac{1}{n}=\log_2n
\]
で与えられる。
エントロピー関数
2元事象系
\[
X=
\begin{bmatrix}
x_1 & x_2\\
p & 1-p
\end{bmatrix}
\]
のエントロピー
\[
H(X)=-p\log_2p-(1-p)\log_2(1-p)
\]
は確率 \(p\) の1変数関数と見ることができる。
これをエントロピー関数といい、次のように定義される。
定義（エントロピー関数）
確率 \(p\in[0,1]\) に対して
\[
\mathcal{H}(p):=-p\log_2p-(1-p)\log_2(1-p)
\]
をエントロピー関数という。
演習問題
問題
表が出る確率が \(\displaystyle\frac{1}{4}\) であるコインがある。このコインを投げたときの結果を \(X\) とし、表が出る事象を \(H\) 、裏が出る事象を \(T\) とする。次の問いに答えよ。
- 事象系 \(X\) を表せ。
- エントロピー \(H(X)\) を求めよ。\(\log_23=1.585\) とする。
解答
- \(\displaystyle X=\begin{bmatrix} H & T \\ \frac{1}{4} & \frac{3}{4} \end{bmatrix}\)
- \( \begin{align} H(X)&=-\sum_{x\in X}P(x)\log_2P(x)\\ &=-P(H)\log_2P(H)-P(T)\log_2P(T)\\ &=-\frac{1}{4}\log_2\frac{1}{4}-\frac{3}{4}\log_2\frac{3}{4}\\ &=\frac{1}{4}\log_24+\frac{3}{4}\log_24-\frac{3}{4}\log_23\\ &=\frac{1}{2}+\frac{3}{2}-\frac{3}{4}\cdot1.585\\ &=0.81125 \end{align} \)