「情報量」の版間の差分

ナビゲーションに移動 検索に移動
編集の要約なし
編集の要約なし
編集の要約なし
1行目: 1行目:
英語名:information entropy  
n英語名:information entropy  


= はじめに  =
= はじめに  =
15行目: 15行目:
== 情報量の定義方法  ==
== 情報量の定義方法  ==


情報量は、これらの直観を反映するように定義されている。確率<math>p</math> の事象が起きたことを知らせる情報に含まれる情報量は、
情報量は、これらの直観を反映するように定義されている。確率<span class="texhtml">''p''</span> の事象が起きたことを知らせる情報に含まれる情報量は、  


<span class="texhtml">− log''p''</span>  
<span class="texhtml">− log''p''</span>  


と定義される。(マイナスがついているのは、小さい確率の事象ほど大きな情報量になるのに役立つ。また上の偶奇を知ってからそのグループを知る場合と、最初から数字を知る場合の二つが、情報量として同じであるというのは、<br><math>-\log (&frac12)- -\log (&franc13)=\log (&franc16)</math>
と定義される。(マイナスがついているのは、小さい確率の事象ほど大きな情報量になるのに役立つ。また上の偶奇を知ってからそのグループを知る場合と、最初から数字を知る場合の二つが、情報量として同じであるというのは、<br><math>-\log (\frac{1}{2})- -\log (\frac{1}{3})=\log (\frac{1}{6})</math>  


<br> (執筆者:中原裕之 担当編集委員:藤田一郎)
として実現される。)&nbsp;
 
より一般的には、何らかの確率で何かがおきるのだから、それらの事象を&nbsp;&lt;math&gt;n=1,...n&lt;\math&gt;で番号づけして、それぞれの確率を
 
 
 
 
 
(執筆者:中原裕之 担当編集委員:藤田一郎)<br>
214

回編集

案内メニュー