214
回編集
「情報量」の版間の差分
ナビゲーションに移動
検索に移動
細
編集の要約なし
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
||
| 33行目: | 33行目: | ||
<span class="texhtml">''I''(''A'',''B'') = ''H''(''B'') − ''H''<sub>''A''</sub>(''B'')</span> | <span class="texhtml">''I''(''A'',''B'') = ''H''(''B'') − ''H''<sub>''A''</sub>(''B'')</span> | ||
と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、 | と書き直せることからもわかる。この左辺の第2項に出ているのが条件付きエントロピーで、 | ||
{| | {| | ||
| 46行目: | 46行目: | ||
|} | |} | ||
と定義される。 | と定義される。 | ||
たとえば、脳科学では外界からの刺激（例 [[視覚]]刺激）と[[神経細胞]]の活動応答の間の相互情報量を調べることで、個々の神経細胞が外界視覚をどのように符号化をしているかを調べる。また、複数の神経細胞が同時に記録されているときには、神経細胞集団の集団活動が外界刺激をどのように符号化するかを調べることが行われている。 | たとえば、脳科学では外界からの刺激（例 [[視覚]]刺激）と[[神経細胞]]の活動応答の間の相互情報量を調べることで、個々の神経細胞が外界視覚をどのように符号化をしているかを調べる。また、複数の神経細胞が同時に記録されているときには、神経細胞集団の集団活動が外界刺激をどのように符号化するかを調べることが行われている。 | ||
2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて（数学的に言えば、いくつかの公理を決めて）、それから式(2)を導出することができる。最初のほうに記述した直観的例（サイコロの例）は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」（情報量は0か正の数にしたい）、「単調減少性」（確率の低い事象ほど大きくしたい）、「独立加法性」（サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ；独立事象の積による情報量と、その各事象の情報量の和を等しくしたい）、「連続性」（確率の微妙な変化は情報量の連続的な変化に対応するとしたい）という性質を満たすとすると、式（2）の定義が自然に導出される。 | 2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて（数学的に言えば、いくつかの公理を決めて）、それから式(2)を導出することができる。最初のほうに記述した直観的例（サイコロの例）は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」（情報量は0か正の数にしたい）、「単調減少性」（確率の低い事象ほど大きくしたい）、「独立加法性」（サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ；独立事象の積による情報量と、その各事象の情報量の和を等しくしたい）、「連続性」（確率の微妙な変化は情報量の連続的な変化に対応するとしたい）という性質を満たすとすると、式（2）の定義が自然に導出される。 | ||