「情報量」の版間の差分

として定義される。この定義で、自己情報量でなくエントロピーを使っているのには理由がある。サイコロの例などは、起きる事象が一つに確定できるのでわかりやすいが、より一般には、ある情報が与えられた後で、事象が確定できない場合のほうが多い。一例をあげると、翌日の天気を予測するのに、なにも知らないで予測するのと、天気予報の情報を得て予測する、という二つの場合を比べるときに、即ち天気予報の情報量を求めるときに、まだ翌日の天気は分かっていない、つまり自己情報量を用いることはできない。このような自己情報量を用いることができない場合も含めて、情報量を考えるためには、エントロピーの差として情報量を定義するほうが自然なのである。大胆に言えば、以上が「情報量」の本質である。以下、いくつかの但し書きを述べておく。