「情報量」の版間の差分

英語名：information entropy  

= 情報と情報量 =

== 簡単な例 ==

1 から 6 まで数字がでるサイコロを用いて情報量が持っていてほしい性質を捉まえてみよう。このサイコロはどの目も確率6分の1で出るはずだが、サイコロをふるまではどの目がでるかはわからない。ひとたびサイコロを振ると、ある目が出る。サイコロを振る前と振った後では、不確実さが減っている。これをどのように測るかが情報量を定義するときの本質的な課題である。  

6面体のサイコロから、20面体のサイコロに変えたとする。この場合もサイコロを振る前と振った後では不確実さが減るが、どちらのサイコロの場合のほうが不確実さは減るだろうか？直観的に、出るかもしれない目が多いのだから（20面体では各々の目の出る確率は20分の1であり、6分の1よりも小さいから）、サイコロを振ることで減った不確実さは、20面体のときのほうが大きい。つまり、確率の小さな事象が起きたことを知るときのほうが、不確実さの減り方は大きい、すなわち情報量が大きい、としたい。