通信路符号化

通信路

Shannonの情報通信モデル
情報源 → 情報源符号化 → 通信路符号化 → 通信路（雑音） → 通信路復号 → 情報源復号 → 受信者

通信路の情報は，そいつの存在によってどれだけ問題のエントロピーが減ったかによって評価する。
情報源X →（通信路C）→ 情報源Y
Cの存在価値（情報量）は，

Def. 通信路行列
送信符号：{a1, ..., aM} →確率変数X
受信符号：{b1, ..., bN} →確率変数Y
aiを送ったときにbjを受信する確率を

Pijをij-成分にもつ行列を，通信路行列という。

Prop. 通信路方程式（channel eq.）
以下が成り立つ。

Def. 通信路容量
通信一回あたりに送ることができる情報量の上限
送信符号X, 受信符号Y, 通信路特性P(Y|X)が与えられたとき，

通信路符号化

Def. Hamming距離
シンボルKから生成される符号語 Kn (n:fix) に対して，
以下の距離が定義される。

Def. 7-4 Hamming 符号
Def. 線形符号
Def. 完全符号

通信路符号化定理

Def. ランダム符号
Def. 典型的系列（Type, Typical Sequence）
Th. 通信路符号化定理