記憶のない情報源

情報源記号が互いに独立に発生する情報源を記憶のない情報源という。

情報源アルファベット \(A\) が \[ A=\{a_1,~a_2,~\cdots,~a_M\} \] であるとき、1つの記号の持つエントロピーは \[ H(A)=-\sum_{i=1}^MP(s_i)\log_2{P(s_i)}~~~[\mathrm{bit}/\text{記号}] \] 1秒間に \(k\) 個の記号が発生するとすれば、1秒あたりのエントロピーは \[ H'(A)=kH(A)~~~[\mathrm{bit/sec}] \]