KL情報量
KL情報量の定義
2つの確率分布の間の距離を表すものとして、KL情報量というものを定義します。
2つの確率分布 \(P,Q\) に対して
\[
D(P \| Q)=\sum_xP(x)\log\left\{\frac{P(x)}{Q(x)}\right\}
\]
をKL情報量という。