「情報量」の版間の差分

ナビゲーションに移動 検索に移動
編集の要約なし
編集の要約なし
編集の要約なし
17行目: 17行目:
情報量は、これらの直観を反映するように定義されている。確率<span class="texhtml">''p''</span> の事象が起きたことを知らせる情報に含まれる情報量は、  
情報量は、これらの直観を反映するように定義されている。確率<span class="texhtml">''p''</span> の事象が起きたことを知らせる情報に含まれる情報量は、  


<span class="texhtml"> − log''p''</span> &nbsp; (1)
<span class="texhtml"> − log''p''</span> &nbsp; (1)  


と定義される。(マイナスがついているのは、小さい確率の事象ほど大きな情報量になるのに役立つ。また上の偶奇を知ってからそのグループを知る場合と、最初から数字を知る場合の二つが、情報量として同じであるというのは、<span class="texhtml"> − log(1 / 2) −  − log(1 / 3) = log(1 / 6)</span> として実現される。)  
と定義される。(マイナスがついているのは、小さい確率の事象ほど大きな情報量になるのに役立つ。また上の偶奇を知ってからそのグループを知る場合と、最初から数字を知る場合の二つが、情報量として同じであるというのは、<span class="texhtml"> − log(1 / 2) −  − log(1 / 3) = log(1 / 6)</span> として実現される。)  


より一般的には、何らかの確率で何かがおきるのだから、それらの事象を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、それぞれの確率を<math>p_1,p_2,\ldots,p_n</math> とすると、確率は足して1になるので、<math>\sum_{i=1}^n{p_i}=1</math> となる。6面体のサイコロの例で言えば、事象の数は6である。サイコロを振る前は、事象は何も起きていないのに対して、振った後ではどれかの事象が起きることになる。事象が起きる前にある不確実さは、まだ何が起きるのかはわからないのだから、<span class="texhtml"> − log''p''<sub>''i''</sub></span> &nbsp; で直接測ることはできない。一方で、まだ何が起きるかはわかっていないとしても、その時点での不確実さの平均を図ることは可能である。それは、
より一般的には、何らかの確率で何かがおきるのだから、それらの事象を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、それぞれの確率を<math>p_1,p_2,\ldots,p_n</math> とすると、確率は足して1になるので、<math>\sum_{i=1}^n{p_i}=1</math> となる。6面体のサイコロの例で言えば、事象の数は6である。サイコロを振る前は、事象は何も起きていないのに対して、振った後ではどれかの事象が起きることになる。事象が起きる前にある不確実さは、まだ何が起きるのかはわからないのだから、<span class="texhtml"> − log''p''<sub>''i''</sub></span> &nbsp; で直接測ることはできない。一方で、まだ何が起きるかはわかっていないとしても、その時点での不確実さの平均を図ることは可能である。それは、  


<math>H(p_1,p_2,\ldots,p_n) = - \sum_{i=1}^n p_i \log p_i</math> &nbsp;&nbsp; (2)
<math>H(p_1,p_2,\ldots,p_n) = - \sum_{i=1}^n p_i \log p_i</math> &nbsp;&nbsp; (2)  


として測ることができる。この<math>H(p_1,p_2,\ldots,p_n)</math> も情報量と呼ばれる。実は、先ほど定義した式(1)の情報量は、しばしば自己情報量(self information)と呼ばれ、むしろ式(2)の量のほうが情報量として一般的に使われる。また、式(2)の量は別名エントロピー(entropy)とも呼ばれる。以下、(1)と(2)の量を区別をしやすいように、(2)の量をエントロピーと呼んで記述する。
として測ることができる。この<math>H(p_1,p_2,\ldots,p_n)</math> も情報量と呼ばれる。実は、先ほど定義した式(1)の情報量は、しばしば自己情報量(self information)と呼ばれ、むしろ式(2)の量のほうが情報量として一般的に使われる。また、式(2)の量は別名エントロピー(entropy)とも呼ばれる。以下、(1)と(2)の量を区別をしやすいように、(2)の量をエントロピーと呼んで記述する。  
 
エントロピーは常に非負 <math>H \ge 0</math> であり、また、それがゼロになるのは、ある一つの事象が確率1でおきる(他の事象は全て確率ゼロ)という場合に限られることは、簡単に証明することができる。また、エントロピーが最大の値を取るのは、事象が<span class="texhtml">''n''</span> コのときには、全ての事象が同じ確率、つまり <span class="texhtml">''p''<sub>''i''</sub> = 1 / ''n''</span> のときで、その場合、<span class="texhtml">''H'' = log''n''</span> となる。<br>6面体のサイコロの例に戻ると、式(2)を使うことで、サイコロを振る前と振った後で、不確実性の減少はどう表現されるだろうか?その減少した量が、サイコロを振ることで得られる情報の量に該当する。その減少の量、
214

回編集

案内メニュー