「情報量」の版間の差分

 

&nbsp;情報量は、これらの直観を反映するように定義されている。確率<span class="texhtml">''p''</span> の事象が起きたことを知らせる情報に含まれる情報量は、  

より一般的には、何らかの確率で何かがおきるのだから、それらの事象を<span class="texhtml">''i'' = 1,...,''n''</span> で番号づけして、それぞれの確率を<math>p_1,p_2,\ldots,p_n</math> とすると、確率は足して1になるので、<math>\sum_{i=1}^n{p_i}=1</math> となる。6面体のサイコロの例で言えば、事象の数は6である。サイコロを振る前は、事象は何も起きていないのに対して、振った後ではどれかの事象が起きることになる。事象が起きる前にある不確実さは、まだ何が起きるのかはわからないのだから、<span class="texhtml"> − log''p''_''i''</span> &nbsp; で直接測ることはできない。一方で、まだ何が起きるかはわかっていないとしても、その時点での不確実さの平均を図ることは可能である。それは、  

エントロピーは常に非負 <math>H \ge 0</math> であり、また、それがゼロになるのは、ある一つの事象が確率1でおきる（他の事象は全て確率ゼロ）という場合に限られることは、簡単に証明することができる。また、エントロピーが最大の値を取るのは、事象が<span class="texhtml">''n''</span> コのときには、全ての事象が同じ確率、つまり <span class="texhtml">''p''_''i'' = 1 / ''n''</span> のときで、その場合、<span class="texhtml">''H'' = log''n''</span>となる。<br> 6面体のサイコロの例に戻ると、式(2)を使うことで、サイコロを振る前と振った後で、不確実性の減少はどう表現されるだろうか？その減少した量が、サイコロを振ることで得られる情報の量に該当する。その減少の量、<span class="texhtml">''I'' = ''H''(</span>振る前<span class="texhtml">) − ''H''</span>'<span class="texhtml">(</span>振った後<span class="texhtml">)</span>と定義できる。今、サイコロを振る前は、式（２）を用いると<span class="texhtml">''H'' = log6</span> の不確実性となる。サイコロを振った後では、事象が１つに確定する、つまり事象の数は１でその事象の確率が1となるので、式(2)を用いると<span class="texhtml">''H''</span>'<span class="texhtml"> = 0</span>となる。したがって がその情報の量となる。より一般的、ある情報によって得られる情報量は、その不確実性の変化として、  

2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて（数学的に言えば、いくつかの公理を決めて）、それから式(2)を導出することができる。最初のほうに記述した直観的例（サイコロの例）は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」（情報量は0か正の数にしたい）、「単調減少性」（確率の低い事象ほど大きくしたい）、「独立加法性」（サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ；独立事象の積による情報量と、その各事象の情報量の和を等しくしたい）、「連続性」（確率の微妙な変化は情報量の連続的な変化に対応するとしたい）という性質を満たすとすると、式（２）の定義が自然に導出される。

　単位についても触れておこう。たとえば、「長さ」の単位としては、メートルなどがあるが、「情報量」の単位はどうなのか。情報量は、本来は、無次元の量とされている。一方で、式(2)では対数<span class="texhtml">(log)</span>を使っている。慣用としては、式（２）のように対数の底を書かないときには、その底は、<span class="texhtml">''e''</span> 、つまり対数は自然対数<span class="texhtml">(log_''e'')</span> を用いていると考える。この自然対数を考えた時の情報量の単位は、ナット(nat)と決めれている。他に、情報量を議論をするときにしばしば用いられるのは、対数の底を２とする場合で、その時の情報量の単位は、ビット (bit)と呼ばれている。<br>　また、本項目では情報量は、もとになる確率が離散の場合（いくつかの個別の事柄として事象を数えられる場合）について記述した。実際には、事象が連続の場合もある。たとえば、正規分布に従って起きる事象などはその例となる。このような連続の値を取るような場合にも情報量を定義できる。本質的な考え方は離散の場合と同様である。  

<br>3. 「情報量」の概念は、1948年のクロード・シャノンの「通信の数学的理論」によって明らかになった(Shannon and Weaver, 1949)<ref>'''Shannon, C., and Weaver, W.'''<br>A Mathematical Theory of Communication<br>''University of Illinois Press'':1949</ref>、。一方で、その源流の一つには物理学の研究の流れ（[[熱力学]]・[[統計力学]]などでのエントロピーという概念の提唱）があった（Ｗｉｋｉｐｅｄｉａの情報量、ＸＸＸなどの項目を参照のこと）。情報量の概念は、現在では、諸分野にまたがって広く用いられている一般的な概念となっている。日本語のわかりやすい解説としては、たとえば、情報理論では甘利(甘利俊一, 1996)<ref>'''甘利 俊一'''<br>情報理論<br>''ダイヤモンド社'':1996</ref>、熱力学では田崎(田崎晴明, 2000)<ref>'''田崎晴明'''<br>熱力学 ― 現代的な視点から, Vol 32<br>''培風館'':2000</ref>などがある。<br>　その定式化に用いられるlogを使って確率分布に関する平均的量を評価する方法は、たとえば、二つの[[確率分布]]の近接性を評価する際に用いられる[[カルバック―ライブラー情報量]]など、広く用いられている。現在の統計情報科学（[[情報理論]]、[[統計科学]]、[[機械学習]]、[[情報幾何]]など）で基礎的な概念として用いられている(Amari and Nagaoka, 2000<ref>'''Amari, S., and Nagaoka, H.'''<br>Methods of Information Geometry<br>''OXFORD UNIVERSITY PRESS'':2000</ref>; Cover and Thomas, 2006)<ref>'''Cover, T., and Thomas, J.'''<br>ELEMENTS OF INFORMATION THEORY Second Edition <br>''WILEY'':2006</ref>、。一方で、この情報量の定式化を拡張することで新たな展開を目指す試みは、現在でも盛んに行われている。たとえば、上述した４つの性質のうちの一部を緩めたり、あるいは一般化することで新たな性質をもつ基本的な量が定義できたりする。それらの科学の発展の基礎にある情報量の概念は、今後より一層重要な概念になるだろう。

<br>4. 情報量は、脳科学の分野でさまざまに用いられている。典型的な例としては、  

*神経細胞集団活動の機能的構造の推定を[[情報量の最大化原理]]から行う、という研究も盛んに行われている。集団活動の評価には、より精緻な情報的概念が必要で、情報幾何のアプローチはその一翼を担っている（中原裕之, 2009<ref>'''中原裕之'''<br>意思決定とその学習理論(第5章). シリーズ脳科学 第１巻 脳の計算論. pp.159-221<br>''東大出版会'':2009</ref>）。