「情報量」の版間の差分

ナビゲーションに移動 検索に移動
編集の要約なし
編集の要約なし
編集の要約なし
9行目: 9行目:
1 から 6 まで数字がでるサイコロを用いて情報量が持っていてほしい性質を捉まえてみよう。このサイコロはどの目も確率6分の1で出るはずだが、サイコロをふるまではどの目がでるかはわからない。ひとたびサイコロを振ると、ある目が出る。サイコロを振る前と振った後では、不確実さが減っている。これをどのように測るかが情報量を定義するときの本質的な課題である。  
1 から 6 まで数字がでるサイコロを用いて情報量が持っていてほしい性質を捉まえてみよう。このサイコロはどの目も確率6分の1で出るはずだが、サイコロをふるまではどの目がでるかはわからない。ひとたびサイコロを振ると、ある目が出る。サイコロを振る前と振った後では、不確実さが減っている。これをどのように測るかが情報量を定義するときの本質的な課題である。  


6面体のサイコロから、20面体のサイコロに変えたとする。この場合もサイコロを振る前と振った後では不確実さが減るが、どちらのサイコロの場合のほうが不確実さは減るだろうか?直観的に、出るかもしれない目が多いのだから(20面体では各々の目の出る確率は20分の1であり、6分の1よりも小さいから)、サイコロを振ることで減った不確実さは、20面体のときのほうが大きい。つまり、確率の小さな事象が起きたことを知るときのほうが、不確実さの減り方は大きい、すなわち情報量が大きい、としたい。
6面体のサイコロから、20面体のサイコロに変えたとする。どちらのサイコロの場合のほうが不確実さは減るだろうか?直観的に、出るかもしれない目が多いのだから(20面体では各々の目の出る確率は20分の1であり、6分の1よりも小さいから)、サイコロを振ることで減った不確実さは、20面体のときのほうが大きい。つまり、確率の小さな事象が起きたことを知るときのほうが、不確実さの減り方は大きい、すなわち情報量が大きい、としたい。


6面体の例に戻る。サイコロを振ったあと、出た目の数を自分では直接見ず、別の人が見て、偶数だったか奇数だったか教えてもらうとする。この場合、偶数か奇数かはわかるので、サイコロを振る前よりは不確実さは減っているが、出た目を自分で直接見るのに比べれば、その減り方は少ない。偶数か奇数か教えてもらったあと、偶数グループの3つの数字にあらためてA,B,C(奇数グループはD,E,F)と関連付けたアルファベットを教わったとする。A,B,Cのどれかだったかを教われば、1~6の数字のどれが出たのかはわかる。直観的には、この偶奇を教わってからアルファベットを教わった場合に最終的に減った不確実さと、最初から自分で数字を見るときに減った不確実さは、同じであってほしい。  
6面体の例に戻る。サイコロを振ったあと、出た目の数を自分では直接見ず、別の人が見て、偶数だったか奇数だったか教えてもらうとする。この場合、偶数か奇数かはわかるので、サイコロを振る前よりは不確実さは減っているが、出た目を自分で直接見るのに比べれば、その減り方は少ない。偶数か奇数か教えてもらったあと、偶数グループの3つの数字にあらためてA,B,C(奇数グループはD,E,F)と関連付けたアルファベットを教わったとする。A,B,Cのどれかだったかを教われば、1~6の数字のどれが出たのかはわかる。直観的には、この偶奇を教わってからアルファベットを教わった場合に最終的に減った不確実さと、最初から自分で数字を見るときに減った不確実さは、同じであってほしい。  


== 情報量の定義方法 ==
== 情報量の定義方法 ==


情報量は、上述の直観を反映するように定義される。確率の事象が起きたことを知らせる情報に含まれる情報量は、
情報量は、上述の直観を反映するように定義される。確率の事象が起きたことを知らせる情報に含まれる情報量は、  


<br> <span class="texhtml"> − log''p''</span>


<math>-\log p</math>
<br> (執筆者:中原裕之 担当編集委員:藤田一郎)
 
 
(執筆者:中原裕之 担当編集委員:藤田一郎)
214

回編集

案内メニュー