9,444
回編集
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
細編集の要約なし |
||
(2人の利用者による、間の3版が非表示) | |||
1行目: | 1行目: | ||
<div align="right"> | |||
<font size="+1">[http://researchmap.jp/hiroyukinakahara 中原 裕之]</font><br> | |||
''独立行政法人理化学研究所 脳科学総合研究センター''<br> | |||
DOI:<selfdoi /> 原稿受付日:2012年6月6日 原稿完成日:2012年8月16日<br> | |||
担当編集委員:[http://researchmap.jp/ichirofujita 藤田 一郎](大阪大学 大学院生命機能研究科)<br> | |||
</div> | |||
英語名:information entropy | 英語名:information entropy | ||
33行目: | 40行目: | ||
<span class="texhtml">''I''(''A'',''B'') = ''H''(''B'') − ''H''<sub>''A''</sub>(''B'')</span> | <span class="texhtml">''I''(''A'',''B'') = ''H''(''B'') − ''H''<sub>''A''</sub>(''B'')</span> | ||
と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、 | と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、 | ||
{| | {| | ||
46行目: | 53行目: | ||
|} | |} | ||
と定義される。 | と定義される。 | ||
たとえば、脳科学では外界からの刺激(例 [[視覚]]刺激)と[[神経細胞]]の活動応答の間の相互情報量を調べることで、個々の神経細胞が外界視覚をどのように符号化をしているかを調べる。また、複数の神経細胞が同時に記録されているときには、神経細胞集団の集団活動が外界刺激をどのように符号化するかを調べることが行われている。 | たとえば、脳科学では外界からの刺激(例 [[視覚]]刺激)と[[神経細胞]]の活動応答の間の相互情報量を調べることで、個々の神経細胞が外界視覚をどのように符号化をしているかを調べる。また、複数の神経細胞が同時に記録されているときには、神経細胞集団の集団活動が外界刺激をどのように符号化するかを調べることが行われている。 | ||
2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて(数学的に言えば、いくつかの公理を決めて)、それから式(2)を導出することができる。最初のほうに記述した直観的例(サイコロの例)は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」(情報量は0か正の数にしたい)、「単調減少性」(確率の低い事象ほど大きくしたい)、「独立加法性」(サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ;独立事象の積による情報量と、その各事象の情報量の和を等しくしたい)、「連続性」(確率の微妙な変化は情報量の連続的な変化に対応するとしたい)という性質を満たすとすると、式(2)の定義が自然に導出される。 | 2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて(数学的に言えば、いくつかの公理を決めて)、それから式(2)を導出することができる。最初のほうに記述した直観的例(サイコロの例)は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」(情報量は0か正の数にしたい)、「単調減少性」(確率の低い事象ほど大きくしたい)、「独立加法性」(サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ;独立事象の積による情報量と、その各事象の情報量の和を等しくしたい)、「連続性」(確率の微妙な変化は情報量の連続的な変化に対応するとしたい)という性質を満たすとすると、式(2)の定義が自然に導出される。 | ||
66行目: | 73行目: | ||
== 参考文献 == | == 参考文献 == | ||
<references /> | <references /> | ||