「情報量」の版間の差分

1 から 6 まで数字がでるサイコロを用いて情報量が持っていてほしい性質を捉まえてみよう。このサイコロはどの目も確率6分の1で出るはずだが、サイコロをふるまではどの目がでるかはわからない。ひとたびサイコロを振ると、ある目が出る。サイコロを振る前と振った後では、不確実さが減っている。これをどのように測るかが情報量を定義するときの本質的な課題である。  

6面体の例に戻る。サイコロを振ったあと、出た目の数を自分では直接見ず、別の人が見て、偶数だったか奇数だったか教えてもらうとする。この場合、偶数か奇数かはわかるので、サイコロを振る前よりは不確実さは減っているが、出た目を自分で直接見るのに比べれば、その減り方は少ない。偶数か奇数か教えてもらったあと、偶数グループの3つの数字にあらためてA，B，C（奇数グループはD，E，F）と関連付けたアルファベットを教わったとする。A，B，Cのどれかだったかを教われば、1～6の数字のどれが出たのかはわかる。直観的には、この偶奇を教わってからアルファベットを教わった場合に最終的に減った不確実さと、最初から自分で数字を見るときに減った不確実さは、同じであってほしい。