「情報量」の版間の差分

ナビゲーションに移動 検索に移動
編集の要約なし
編集の要約なし
編集の要約なし
19行目: 19行目:
として測ることができる。この<math>H(p_1,p_2,\ldots,p_n)</math> も情報量と呼ばれる。実は、先ほど定義した式(1)の情報量は、しばしば自己情報量(self information)と呼ばれ、むしろ式(2)の量のほうが情報量として一般的に使われる。また、式(2)の量は別名エントロピー(entropy)とも呼ばれる。以下、(1)と(2)の量を区別をしやすいように、(2)の量をエントロピーと呼んで記述する。  
として測ることができる。この<math>H(p_1,p_2,\ldots,p_n)</math> も情報量と呼ばれる。実は、先ほど定義した式(1)の情報量は、しばしば自己情報量(self information)と呼ばれ、むしろ式(2)の量のほうが情報量として一般的に使われる。また、式(2)の量は別名エントロピー(entropy)とも呼ばれる。以下、(1)と(2)の量を区別をしやすいように、(2)の量をエントロピーと呼んで記述する。  


エントロピーは常に非負 <math>H \ge 0</math> であり、また、それがゼロになるのは、ある一つの事象が確率1でおきる(他の事象は全て確率ゼロ)という場合に限られることは、簡単に証明することができる。また、エントロピーが最大の値を取るのは、事象が<span class="texhtml">''n''</span> コのときには、全ての事象が同じ確率、つまり <span class="texhtml">''p''<sub>''i''</sub> = 1 / ''n''</span> のときで、その場合、<span class="texhtml">''H'' = log''n''</span>となる。<br>6面体のサイコロの例に戻ると、式(2)を使うことで、サイコロを振る前と振った後で、不確実性の減少はどう表現されるだろうか?その減少した量が、サイコロを振ることで得られる情報の量に該当する。その減少の量、<span class="texhtml">''I'' = ''H''(</span>振る前<span class="texhtml">)''H''</span>'<span class="texhtml">(</span>振った後<span class="texhtml">)</span> と定義できる。今、サイコロを振る前は、式(2)を用いるとxxxの不確実性となる。サイコロを振った後では、事象が1つに確定する、つまり事象の数は1でその事象の確率が1となるので、式(2)を用いると<math>H'= 0</math> となる。したがってxxx がその情報の量となる。より一般的、ある情報によって得られる情報量は、その不確実性の変化として、  
エントロピーは常に非負 <math>H \ge 0</math> であり、また、それがゼロになるのは、ある一つの事象が確率1でおきる(他の事象は全て確率ゼロ)という場合に限られることは、簡単に証明することができる。また、エントロピーが最大の値を取るのは、事象が<span class="texhtml">''n''</span> コのときには、全ての事象が同じ確率、つまり <span class="texhtml">''p''<sub>''i''</sub> = 1 / ''n''</span> のときで、その場合、<span class="texhtml">''H'' = log''n''</span>となる。<br>6面体のサイコロの例に戻ると、式(2)を使うことで、サイコロを振る前と振った後で、不確実性の減少はどう表現されるだろうか?その減少した量が、サイコロを振ることで得られる情報の量に該当する。その減少の量、<span class="texhtml">''I'' = ''H''(</span>振る前<span class="texhtml">)''H''</span>'<span class="texhtml">(</span>振った後<span class="texhtml">)</span> と定義できる。今、サイコロを振る前は、式(2)を用いるとxxxの不確実性となる。サイコロを振った後では、事象が1つに確定する、つまり事象の数は1でその事象の確率が1となるので、式(2)を用いると<span class="texhtml">''H''' = 0</span> となる。したがってxxx がその情報の量となる。より一般的、ある情報によって得られる情報量は、その不確実性の変化として、  


&nbsp;yyyy  
&nbsp;yyyy  
26行目: 26行目:


1. 上に記述した情報量の概念を、複数の事象の確率(確率変数)に対して拡張することが一般的に可能である。なかでも、最も基本的なのは、二つの確率に基づく複合事象の関係に対して定義される「相互情報量」と「条件付きエントロピー」の概念である。二つの異なる事象系を考え、一つの系を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、各々の事象を<span class="texhtml">''A''<sub>''i''</sub></span> と表し、もう一つの系を<span class="texhtml">''j'' = 1,...,''m''</span> で番号づけして、各々の事象を<span class="texhtml">''B''<sub>''j''</sub></span> で表すと複合事象は<span class="texhtml">(''A''<sub>''i''</sub>.''B''<sub>''j''</sub>)の組として与えられる。このとき相互情報量
1. 上に記述した情報量の概念を、複数の事象の確率(確率変数)に対して拡張することが一般的に可能である。なかでも、最も基本的なのは、二つの確率に基づく複合事象の関係に対して定義される「相互情報量」と「条件付きエントロピー」の概念である。二つの異なる事象系を考え、一つの系を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、各々の事象を<span class="texhtml">''A''<sub>''i''</sub></span> と表し、もう一つの系を<span class="texhtml">''j'' = 1,...,''m''</span> で番号づけして、各々の事象を<span class="texhtml">''B''<sub>''j''</sub></span> で表すと複合事象は<span class="texhtml">(''A''<sub>''i''</sub>.''B''<sub>''j''</sub>)の組として与えられる。このとき相互情報量
</span><span class="texhtml">''I''(''A'',''B'')</span>は、  xxxxx
</span><span class="texhtml">''I''(''A'',''B'')</span>は、  xxxxx  
 
となる。この相互情報量は、一方の系の事象を知ることで(たとえばAの系について知ることで)、他方の事象について(Bの系について)どれだけの情報が得られるかを表している。それは、この式が、
214

回編集

案内メニュー