「情報量」の版間の差分

ナビゲーションに移動 検索に移動
354 バイト追加 、 2012年4月12日 (木)
編集の要約なし
編集の要約なし
編集の要約なし
13行目: 13行目:
と定義される。(マイナスがついているのは、小さい確率の事象ほど大きな情報量になるのに役立つ。また上の偶奇を知ってからそのグループを知る場合と、最初から数字を知る場合の二つが、情報量として同じであるというのは、<span class="texhtml"> − log(1 / 2) −  − log(1 / 3) = log(1 / 6)</span> として実現される。)  
と定義される。(マイナスがついているのは、小さい確率の事象ほど大きな情報量になるのに役立つ。また上の偶奇を知ってからそのグループを知る場合と、最初から数字を知る場合の二つが、情報量として同じであるというのは、<span class="texhtml"> − log(1 / 2) −  − log(1 / 3) = log(1 / 6)</span> として実現される。)  


より一般的には、何らかの確率で何かがおきるのだから、それらの事象を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、それぞれの確率を<math>p_1,p_2,\ldots,p_n</math> とすると、確率は足して1になるので、<math>\sum_{i=1}^n{p_i}=1</math> となる。6面体のサイコロの例で言えば、事象の数は6である。サイコロを振る前は、事象は何も起きていないのに対して、振った後ではどれかの事象が起きることになる。事象が起きる前にある不確実さは、まだ何が起きるのかはわからないのだから、<span class="texhtml"> − log''p''<sub>''i''</sub></span> &nbsp; で直接測ることはできない。一方で、まだ何が起きるかはわかっていないとしても、その時点での不確実さの平均を図ることは可能である。それは、  
より一般的には、何らかの確率で何かがおきるのだから、それらの事象を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、それぞれの確率を<math>p_1,p_2,\ldots,p_n</math> とすると、確率は足して1になるので、<math>\sum_{i=1}^n{p_i}=1</math> となる。6面体のサイコロの例で言えば、事象の数は6である。サイコロを振る前は、事象は何も起きていないのに対して、振った後ではどれかの事象が起きることになる。事象が起きる前にある不確実さは、まだ何が起きるのかはわからないのだから、<span class="texhtml"> − log''p''<sub>''i''</sub></span> &nbsp; で直接測ることはできない。一方で、まだ何が起きるかはわかっていないとしても、その時点での不確実さの平均を図ることは可能である。それは、  


<math>H(p_1,p_2,\ldots,p_n) = - \sum_{i=1}^n p_i \log p_i</math> &nbsp;&nbsp; (2)  
<math>H(p_1,p_2,\ldots,p_n) = - \sum_{i=1}^n p_i \log p_i</math> &nbsp;&nbsp; (2)  
34行目: 34行目:


と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、<span class="texhtml">
と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、<span class="texhtml">
</span>  
</span> <span class="texhtml">
<math>H_A(B)= - \sum_{i,j} p(A_i)p(B_j|A_i)\log {p(B_j|A_i)}</math>
</span>
 
{| class="FCK__ShowTableBorders"
|- style="text-align: center;"
| ''H''<sub>''A''</sub>(''B'') =
| <span style="font-family: serif; font-size: x-large;">∑</span>
| ''p''(''A''<sub>''i''</sub>)''p''(''B''<sub>''j''</sub> &#124; ''A''<sub>''i''</sub>)log''p''(''B''<sub>''j''</sub> &#124; ''A''<sub>''i''</sub>)
|- style="text-align: center; vertical-align: top;"
|
| ''i'',''j''
|
|}
 
<br>  
<br>  


214

回編集

案内メニュー