情報理論

２進数

• 2進法
• 2進化10進数
• 2進数と16進数の関係

情報量とエントロピー

• 自己情報量
• 平均情報量（エントロピー）
• 結合エントロピーと条件付きエントロピー
• 相互情報量

情報源と通信路

• 記憶のない情報源
• 記憶のある情報源