214
回編集
「情報量」の版間の差分
ナビゲーションに移動
検索に移動
細
編集の要約なし
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
||
| 34行目: | 34行目: | ||
と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、<span class="texhtml"> | と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、<span class="texhtml"> | ||
</span> < | </span> <span class="texhtml"> | ||
</span> | |||
{| | |||
|- style="text-align: center;" | |||
| ''H''<sub>''A''</sub>(''B'') = − | |||
| <span style="font-size: x-large; font-family: serif;">∑</span> | |||
| ''p''(''A''<sub>''i''</sub>)''p''(''B''<sub>''j''</sub> | ''A''<sub>''i''</sub>)log''p''(''B''<sub>''j''</sub>,''A''<sub>''i''</sub>) | |||
|- style="text-align: center; vertical-align: top;" | |||
| | |||
| ''i'',''j'' | |||
| | |||
|} | |||
<br> | <br> | ||
| 43行目: | 56行目: | ||
<br>3. 「情報量」の概念は、1948年のクロード・シャノンの「通信の数学的理論」によって明らかになった(Shannon and Weaver, 1949)<ref>'''Shannon, C., and Weaver, W.'''<br>A Mathematical Theory of Communication<br>''University of Illinois Press'':1949</ref>、。一方で、その源流の一つには物理学の研究の流れ（[[熱力学]]・[[統計力学]]などでのエントロピーという概念の提唱）があった（Ｗｉｋｉｐｅｄｉａの情報量、ＸＸＸなどの項目を参照のこと）。情報量の概念は、現在では、諸分野にまたがって広く用いられている一般的な概念となっている。日本語のわかりやすい解説としては、たとえば、情報理論では甘利(甘利俊一, 1996)<ref>'''甘利 俊一'''<br>情報理論<br>''ダイヤモンド社'':1996</ref>、熱力学では田崎(田崎晴明, 2000)<ref>'''田崎晴明'''<br>熱力学 ― 現代的な視点から, Vol 32<br>''培風館'':2000</ref>などがある。<br>その定式化に用いられるlogを使って確率分布に関する平均的量を評価する方法は、たとえば、二つの[[確率分布]]の近接性を評価する際に用いられる[[カルバック―ライブラー情報量]]など、広く用いられている。現在の統計情報科学（[[情報理論]]、[[統計科学]]、[[機械学習]]、[[情報幾何]]など）で基礎的な概念として用いられている(Amari and Nagaoka, 2000<ref>'''Amari, S., and Nagaoka, H.'''<br>Methods of Information Geometry<br>''OXFORD UNIVERSITY PRESS'':2000</ref>; Cover and Thomas, 2006)<ref>'''Cover, T., and Thomas, J.'''<br>ELEMENTS OF INFORMATION THEORY Second Edition <br>''WILEY):2006</ref>、。一方で、この情報量の定式化を拡張することで新たな展開を目指す試みは、現在でも盛んに行われている。たとえば、上述した４つの性質のうちの一部を緩めたり、あるいは一般化することで新たな性質をもつ基本的な量が定義できたりする。それらの科学の発展の基礎にある情報量の概念は、今後より一層重要な概念になるだろう。 | <br>3. 「情報量」の概念は、1948年のクロード・シャノンの「通信の数学的理論」によって明らかになった(Shannon and Weaver, 1949)<ref>'''Shannon, C., and Weaver, W.'''<br>A Mathematical Theory of Communication<br>''University of Illinois Press'':1949</ref>、。一方で、その源流の一つには物理学の研究の流れ（[[熱力学]]・[[統計力学]]などでのエントロピーという概念の提唱）があった（Ｗｉｋｉｐｅｄｉａの情報量、ＸＸＸなどの項目を参照のこと）。情報量の概念は、現在では、諸分野にまたがって広く用いられている一般的な概念となっている。日本語のわかりやすい解説としては、たとえば、情報理論では甘利(甘利俊一, 1996)<ref>'''甘利 俊一'''<br>情報理論<br>''ダイヤモンド社'':1996</ref>、熱力学では田崎(田崎晴明, 2000)<ref>'''田崎晴明'''<br>熱力学 ― 現代的な視点から, Vol 32<br>''培風館'':2000</ref>などがある。<br>その定式化に用いられるlogを使って確率分布に関する平均的量を評価する方法は、たとえば、二つの[[確率分布]]の近接性を評価する際に用いられる[[カルバック―ライブラー情報量]]など、広く用いられている。現在の統計情報科学（[[情報理論]]、[[統計科学]]、[[機械学習]]、[[情報幾何]]など）で基礎的な概念として用いられている(Amari and Nagaoka, 2000<ref>'''Amari, S., and Nagaoka, H.'''<br>Methods of Information Geometry<br>''OXFORD UNIVERSITY PRESS'':2000</ref>; Cover and Thomas, 2006)<ref>'''Cover, T., and Thomas, J.'''<br>ELEMENTS OF INFORMATION THEORY Second Edition <br>''WILEY):2006</ref>、。一方で、この情報量の定式化を拡張することで新たな展開を目指す試みは、現在でも盛んに行われている。たとえば、上述した４つの性質のうちの一部を緩めたり、あるいは一般化することで新たな性質をもつ基本的な量が定義できたりする。それらの科学の発展の基礎にある情報量の概念は、今後より一層重要な概念になるだろう。 | ||
<br>4. | <br>4. 情報量は、脳科学の分野で様々に用いられている。典型的な例としては、 | ||
*外界からの刺激（例 視覚刺激）と神経細胞の活動応答の間の相互情報量を調べることで、個々の神経細胞が外界視覚をどのように符号化をしているかを調べる。また、複数の神経細胞が同時に記録されているときには、神経細胞集団の集団活動が外界刺激をどのように符号化するかを調べる。 | |||
*この考え方は、外界刺激の符号化のみならず、符号化を評価する、つまり、神経細胞集団活動（または個々の神経細胞活動）があるときに、どれほど正確にもとの外界刺激の情報を再現できるか、という評価を行うことで、その情報処理を解明するというアプローチにも適用できる。 | |||
*刺激の符号化・復号化だけでなく、いかに行動が発現するかという研究にも適用可能である。人間や動物が、外界からの入力に対応して行動（運動）を行うとき、入力の情報の中から、適切な情報を取捨選択している。いいかえれば、外界情報の全てではなく適切な情報が行動や運動制御に重要となる。その観点から、行動と神経細胞活動の関係を情報量の観点から調べるアプローチも行われている。 | |||
*神経細胞集団活動の機能的構造の推定を[[情報量の最大化原理]]から行う、という研究も盛んに行われている。集団活動の評価には、より精緻な情報的概念が必要で、情報幾何のアプローチはその一翼を担っている。 | |||
*脳の学習則の研究にも情報量の概念はさまざまに役立っている。たとえば、シナプス可塑性の学習則を前シナプス細胞と後シナプス細胞の間の活動とその情報量の関係から調べる、などが挙げられる。 | |||
*脳科学における情報量とその使い方を解説した教科書も複数出ているので必要に応じて参照されたい(Dayan and Abbot, 2001<ref>'''Dayan, P., and Abbot, L.F. '''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems<br>MIT Press'':2001</ref>; Rieke et al., 1999<ref>'''Rieke, F., Warland, D., Deruytervansteveninck, R., and Bialek, W.'''<br>Spikes: Exploring the Neural Code<br>(Computational Neuroscience) (MIT Press'':1949</ref>)。 | |||
<references /> | |||