記憶のない情報源
情報源の表現
情報源アルファベットといいます。 \[ P(X_0=x_0,~X_1=x_1,~\cdots,~X_n=x_n) \]
記憶のない情報源のエントロピー
情報源記号が互いに独立に発生する情報源を記憶のない情報源といいます。
\[ P(X_n=x_n~|~X_{n-1}=x_{n-1},~\cdots,~X_1=x_1)=P(X_n=x_n) \]
情報源アルファベット \(A\) が
\[
A=\{a_1,~a_2,~\cdots,~a_M\}
\]
であるとき、1つの記号の持つエントロピーは
\[
H(A)=-\sum_{i=1}^MP(s_i)\log_2{P(s_i)}~~~[\mathrm{bit}/\text{記号}]
\]
1秒間に \(k\) 個の記号が発生するとすれば、1秒あたりのエントロピーは
\[
H'(A)=kH(A)~~~[\mathrm{bit/sec}]
\]
演習問題
問題