9,444
回編集
「情報量」の版間の差分
細
編集の要約なし
細編集の要約なし |
細編集の要約なし |
||
| 55行目: | 55行目: | ||
単位についても触れておこう。たとえば、「長さ」の単位としては、メートルなどがあるが、「情報量」の単位はどうなのか。情報量は、本来は、無次元の量とされている。一方で、式(2)では[[wikipedia:ja:対数|対数]]<span class="texhtml">(log)</span>を使っている。慣用としては、式（2）のように対数の[[wikipedia:ja:底|底]]を書かないときには、その底は、<span class="texhtml">''e''</span> 、つまり対数は[[wikipedia:ja:自然対数|自然対数]]<span class="texhtml">(log<sub>''e''</sub>)</span> を用いていると考える。この自然対数を考えた時の情報量の単位は、ナット(nat)と決めれている。他に、情報量を議論をするときにしばしば用いられるのは、対数の底を2とする場合で、その時の情報量の単位は、[[wikipedia:ja:ビット|ビット]] (bit)と呼ばれている。<br> また、本項目では情報量は、もとになる確率が離散の場合（いくつかの個別の事柄として事象を数えられる場合）について記述した。実際には、事象が連続の場合もある。たとえば、正規分布に従って起きる事象などはその例となる。このような連続の値を取るような場合にも情報量を定義できる。本質的な考え方は離散の場合と同様である。 | 単位についても触れておこう。たとえば、「長さ」の単位としては、メートルなどがあるが、「情報量」の単位はどうなのか。情報量は、本来は、無次元の量とされている。一方で、式(2)では[[wikipedia:ja:対数|対数]]<span class="texhtml">(log)</span>を使っている。慣用としては、式（2）のように対数の[[wikipedia:ja:底|底]]を書かないときには、その底は、<span class="texhtml">''e''</span> 、つまり対数は[[wikipedia:ja:自然対数|自然対数]]<span class="texhtml">(log<sub>''e''</sub>)</span> を用いていると考える。この自然対数を考えた時の情報量の単位は、ナット(nat)と決めれている。他に、情報量を議論をするときにしばしば用いられるのは、対数の底を2とする場合で、その時の情報量の単位は、[[wikipedia:ja:ビット|ビット]] (bit)と呼ばれている。<br> また、本項目では情報量は、もとになる確率が離散の場合（いくつかの個別の事柄として事象を数えられる場合）について記述した。実際には、事象が連続の場合もある。たとえば、正規分布に従って起きる事象などはその例となる。このような連続の値を取るような場合にも情報量を定義できる。本質的な考え方は離散の場合と同様である。 | ||
3. 「情報量」の概念は、1948年のクロード・シャノンの「通信の数学的理論」によって明らかになった<ref>'''Shannon, C., and Weaver, W.'''<br>A Mathematical Theory of Communication<br>''University of Illinois Press'':1949</ref> | 3. 「情報量」の概念は、1948年のクロード・シャノンの「通信の数学的理論」によって明らかになった<ref>'''Shannon, C., and Weaver, W.'''<br>A Mathematical Theory of Communication<br>''University of Illinois Press'':1949</ref>。一方で、その源流の一つには[[wikipedia:ja:物理学|物理学]]の研究の流れ（[[wikipedia:ja:熱力学|熱力学]]・[[wikipedia:ja:統計力学|統計力学]]などでのエントロピーという概念の提唱）があった（Wikipediaの情報量、ＸＸＸなどの項目を参照のこと）。情報量の概念は、現在では、諸分野にまたがって広く用いられている一般的な概念となっている。日本語のわかりやすい解説としては、たとえば、情報理論では甘利<ref>'''甘利 俊一'''<br>情報理論<br>''ダイヤモンド社'':1996</ref>、熱力学では田崎<ref>'''田崎晴明'''<br>熱力学 ― 現代的な視点から, Vol 32<br>''培風館'':2000</ref>などがある。<br> その定式化に用いられるlogを使って確率分布に関する平均的量を評価する方法は、たとえば、二つの[[wikipedia:ja:確率分布|確率分布]]の近接性を評価する際に用いられる[[wikipedia:ja:カルバック―ライブラー情報量|カルバック―ライブラー情報量]]など、広く用いられている。現在の[[wikipedia:ja:統計情報科学|統計情報科学]]（[[wikipedia:ja:情報理論|情報理論]]、[[wikipedia:ja:統計科学|統計科学]]、[[wikipedia:ja:機械学習|機械学習]]、[[wikipedia:ja:情報幾何|情報幾何]]など）で基礎的な概念として用いられている<ref>'''Amari, S., and Nagaoka, H.'''<br>Methods of Information Geometry<br>''OXFORD UNIVERSITY PRESS'':2000</ref> <ref>'''Cover, T., and Thomas, J.'''<br>ELEMENTS OF INFORMATION THEORY Second Edition <br>''WILEY'':2006</ref>。一方で、この情報量の定式化を拡張することで新たな展開を目指す試みは、現在でも盛んに行われている。たとえば、上述した4つの性質のうちの一部を緩めたり、あるいは一般化することで新たな性質をもつ基本的な量が定義できたりする。それらの科学の発展の基礎にある情報量の概念は、今後より一層重要な概念になるだろう。 | ||
4. 情報量は、脳科学の分野でさまざまに用いられている。典型的な例としては、 | 4. 情報量は、脳科学の分野でさまざまに用いられている。典型的な例としては、 | ||
| 62行目: | 62行目: | ||
*この考え方は、外界刺激の符号化のみならず、復号化を評価する、つまり、神経細胞集団活動（または個々の神経細胞活動）があるときに、どれほど正確にもとの外界刺激の情報を再現できるか、という評価を行うことで、その情報処理を解明するというアプローチにも適用できる。 | *この考え方は、外界刺激の符号化のみならず、復号化を評価する、つまり、神経細胞集団活動（または個々の神経細胞活動）があるときに、どれほど正確にもとの外界刺激の情報を再現できるか、という評価を行うことで、その情報処理を解明するというアプローチにも適用できる。 | ||
*刺激の符号化・復号化だけでなく、いかに行動が発現するかという研究にも適用可能である。[[wikipedia:ja:ヒト|ヒト]]や動物が、外界からの入力に対応して行動（運動）を行うとき、入力の情報の中から、適切な情報を取捨選択している。いいかえれば、外界情報の全てではなく適切な情報が行動や[[運動制御]]に重要となる。その観点から、行動と神経細胞活動の関係を情報量の観点から調べるアプローチも行われている。 | *刺激の符号化・復号化だけでなく、いかに行動が発現するかという研究にも適用可能である。[[wikipedia:ja:ヒト|ヒト]]や動物が、外界からの入力に対応して行動（運動）を行うとき、入力の情報の中から、適切な情報を取捨選択している。いいかえれば、外界情報の全てではなく適切な情報が行動や[[運動制御]]に重要となる。その観点から、行動と神経細胞活動の関係を情報量の観点から調べるアプローチも行われている。 | ||
*神経細胞集団活動の機能的構造の推定を[[情報量の最大化原理]]から行う、という研究も盛んに行われている。集団活動の評価には、より精緻な情報的概念が必要で、情報幾何のアプローチはその一翼を担っている<ref>'''中原裕之'''<br>意思決定とその学習理論(第5章). シリーズ脳科学 第1巻 脳の計算論. pp.159-221<br>''東大出版会'':2009</ref> | *神経細胞集団活動の機能的構造の推定を[[情報量の最大化原理]]から行う、という研究も盛んに行われている。集団活動の評価には、より精緻な情報的概念が必要で、情報幾何のアプローチはその一翼を担っている<ref>'''中原裕之'''<br>意思決定とその学習理論(第5章). シリーズ脳科学 第1巻 脳の計算論. pp.159-221<br>''東大出版会'':2009</ref>。 | ||
*脳の学習則の研究にも情報量の概念はさまざまに役立っている。たとえば、[[シナプス可塑性]]の学習則を[[シナプス前細胞]]と[[シナプス後細胞]]の間の活動とその情報量の関係から調べる、などが挙げられる。 | *脳の学習則の研究にも情報量の概念はさまざまに役立っている。たとえば、[[シナプス可塑性]]の学習則を[[シナプス前細胞]]と[[シナプス後細胞]]の間の活動とその情報量の関係から調べる、などが挙げられる。 | ||
*脳科学における情報量とその使い方を解説した教科書も複数出ているので必要に応じて参照されたい<ref>'''Dayan, P., and Abbot, L.F. '''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems<br>''MIT Press'':2001</ref> | *脳科学における情報量とその使い方を解説した教科書も複数出ているので必要に応じて参照されたい<ref>'''Dayan, P., and Abbot, L.F. '''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems<br>''MIT Press'':2001</ref> <ref>'''Rieke, F., Warland, D., Deruytervansteveninck, R., and Bialek, W.'''<br>Spikes: Exploring the Neural Code<br>''Computational Neuroscience MIT Press'':1949</ref>。 | ||
== 参考文献 == | == 参考文献 == | ||