エントロピーとは自己情報量の期待値であるという認識が重要（計算において）。


また「情報」とは，可測空間，つまり「事象の全体」が分かってはじめて確定する。
なぜならば，確率測度Pとは可測空間上定義された関数であり，確率変数Xもまた可測空間に対して定義される関数だからである。

情報量

自己情報量
事象σの生起確率p(σ)とする。
このとき，σの自己情報量Iは以下で与えられる。

Prop.
自己情報量は以下の性質を持つ。
1. 単調減少性
   
2. 加法性
   
3. 連続性
   p(σ)の連続関数である。※σ自体の連続関数ではない！
また，以上の性質をもつpの汎関数Iは底の違いを除いて唯一定まる。

Def. エントロピー
無記憶定常離散的情報源S

Sに対するエントロピーは以下で定義される。

この定義は，符号化するシンボルとしてK={0,1}を用いることを含意する。

Prop. エントロピーは凸関数
共通の標本空間を持ち，確率ベクトルが異なる情報源の列Siを考える。

エントロピーは，確率ベクトルpiに対して定義された汎関数と読み替えることができる。

この意味で，エントロピーは凸関数である。
  
  
  等号は 

Th. 離散分布に対して，一様分布はエントロピー最大

Def. 条件付エントロピー
同じ情報源Sに対し，複数の確率変数X,Yを考えると条件付確率を考えることができる。

Y=yと分かったときのエントロピーをH(X|Y=y)と書くことにすると，

H(X|Y=y)のYに関する期待値を条件付きエントロピーという。

Def. 結合エントロピー
さらに結合確率も考えることができ，

これに対するエントロピーを結合エントロピーという。

Prop. 
結合エントロピーは対称性を持つ。

Prop. 各エントロピーの関係

Def. 相互情報量
他方がもう一方に寄与する分を測る。

Prop. 
相互情報量は対称性を持つ。

Prop. 
相互情報量とKL情報量の関係。

ここから，相互情報量は非負であることがわかる。

また，上に有界であることも分かる。

注. 
上の不等式は，Yについても平均操作をとった H(X|Y) について言及しているのであり，
Yを1つfixしただけのエントロピー H(X|Y=y) については，成立しないことがある。

簡単な例
X={0,1} Y={0,1}
p(x=0, y=0) = 0.125, p(x=0, y=1) = 0.075, p(x=1, y=0) = 0.125, p(x=1, y=1) = 0.675
H(X) = 0.500
H(X|Y=0) = 0.693 ← H(X)より高くなっている！
H(X|Y=1) = 0.325 ← もう一方は必ずH(X)より小さくならなければならない。
H(X|Y) = 0.417