「情報量」の版間の差分

編集の要約なし
編集の要約なし
編集の要約なし
27行目: 27行目:
1. 上に記述した情報量の概念を、複数の事象の確率(確率変数)に対して拡張することが一般的に可能である。なかでも、最も基本的なのは、二つの確率に基づく複合事象の関係に対して定義される「[[相互情報量]]」と「[[条件付きエントロピー]]」の概念である。二つの異なる事象系を考え、一つの系を<span class="texhtml">''i'' = 1</span>...<span class="texhtml">,''n''</span>で番号づけして、各々の事象を<span class="texhtml">''A''<sub>''i''</sub></span> と表し、もう一つの系を<span class="texhtml">''j'' = 1</span>...<span class="texhtml">,''m''</span>で番号づけして、各々の事象を<span class="texhtml">''B''<sub>''i''</sub></span> で表すと複合事象は<span class="texhtml">(''A''<sub>''i''</sub>,''B''<sub>''j''</sub>)</span>の組として与えられる。このとき相互情報量 <span class="texhtml">''I''(''A'',''B'')</span>は、  
1. 上に記述した情報量の概念を、複数の事象の確率(確率変数)に対して拡張することが一般的に可能である。なかでも、最も基本的なのは、二つの確率に基づく複合事象の関係に対して定義される「[[相互情報量]]」と「[[条件付きエントロピー]]」の概念である。二つの異なる事象系を考え、一つの系を<span class="texhtml">''i'' = 1</span>...<span class="texhtml">,''n''</span>で番号づけして、各々の事象を<span class="texhtml">''A''<sub>''i''</sub></span> と表し、もう一つの系を<span class="texhtml">''j'' = 1</span>...<span class="texhtml">,''m''</span>で番号づけして、各々の事象を<span class="texhtml">''B''<sub>''i''</sub></span> で表すと複合事象は<span class="texhtml">(''A''<sub>''i''</sub>,''B''<sub>''j''</sub>)</span>の組として与えられる。このとき相互情報量 <span class="texhtml">''I''(''A'',''B'')</span>は、  


<math>I(A,B)=\sum_{i,j}\p(A_i,B_j)\log</math>
<math>I(A,B)=\sum_{i,j} p(A_i,B_j)\log \frac{p(A_i,B_j)}{p(A_i)p(B_j)}</math>


となる。この相互情報量は、一方の系の事象を知ることで(たとえば<span class="texhtml">''A''</span>の系について知ることで)、他方の事象について(<span class="texhtml">''B''</span>の系について)どれだけの情報が得られるかを表している。それは、この式が、  
となる。この相互情報量は、一方の系の事象を知ることで(たとえば<span class="texhtml">''A''</span>の系について知ることで)、他方の事象について(<span class="texhtml">''B''</span>の系について)どれだけの情報が得られるかを表している。それは、この式が、  
214

回編集