15,998
回編集
「情報量」の版間の差分
細
編集の要約なし
細編集の要約なし |
細編集の要約なし |
||
| 1行目: | 1行目: | ||
英語名：information entropy | 英語名：information entropy | ||
脳の理解には、「脳は情報処理を行う」という見方が必要不可欠である。「情報量」は、この観点を実際に肉づけするのに必要な概念である。本辞典の使用を考えると、「情報量」をやたら厳密に議論するよりも、その本質の直観的理解が大切だろう。したがって、以下、本質的な意味を直観的に理解することを第一に記述し、最後にいくつかの基本的背景や但し書きを列挙する。 | |||
情報とは、それを知ることで何かを教えてくれる、ことである。つまり、それを知ることで何かの不確実さが減ることになる。情報の「量」を定義することによって、その不確実さの変化を量として測ることを可能にすることが、「情報量」の本質的な目的となる。このとき、不確実さが減るほど、情報量が大きくなるように定義したいというのは自明だろう。 | 情報とは、それを知ることで何かを教えてくれる、ことである。つまり、それを知ることで何かの不確実さが減ることになる。情報の「量」を定義することによって、その不確実さの変化を量として測ることを可能にすることが、「情報量」の本質的な目的となる。このとき、不確実さが減るほど、情報量が大きくなるように定義したいというのは自明だろう。 | ||
| 51行目: | 50行目: | ||
と定義される。 | と定義される。 | ||
2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて（数学的に言えば、いくつかの公理を決めて）、それから式(2)を導出することができる。最初のほうに記述した直観的例（サイコロの例）は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」（情報量は0か正の数にしたい）、「単調減少性」（確率の低い事象ほど大きくしたい）、「独立加法性」（サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ；独立事象の積による情報量と、その各事象の情報量の和を等しくしたい）、「連続性」（確率の微妙な変化は情報量の連続的な変化に対応するとしたい）という性質を満たすとすると、式（2）の定義が自然に導出される。 | 2. なお上の記述ではエントロピーを式(2)で直接定義した。これに対して、どうしてこの式でよいのか、あるいは、他の式で定義するほうがより優れた量を定義できるのではないか、という疑問がでるかもしれない。実は、いくつかの満たすべき性質を最初に決めて（数学的に言えば、いくつかの公理を決めて）、それから式(2)を導出することができる。最初のほうに記述した直観的例（サイコロの例）は、実はこの満たすべき性質の具体例に対応している。導出の仕方にはいくつかあるが、通常、「非負性」（情報量は0か正の数にしたい）、「単調減少性」（確率の低い事象ほど大きくしたい）、「独立加法性」（サイコロの偶奇とそのグループ番号を知るのと、最初から番号を知るのが同じ；独立事象の積による情報量と、その各事象の情報量の和を等しくしたい）、「連続性」（確率の微妙な変化は情報量の連続的な変化に対応するとしたい）という性質を満たすとすると、式（2）の定義が自然に導出される。 | ||
単位についても触れておこう。たとえば、「長さ」の単位としては、メートルなどがあるが、「情報量」の単位はどうなのか。情報量は、本来は、無次元の量とされている。一方で、式(2)では[[wikipedia:ja:対数|対数]]<span class="texhtml">(log)</span>を使っている。慣用としては、式（2）のように対数の[[wikipedia:ja:底|底]]を書かないときには、その底は、<span class="texhtml">''e''</span> 、つまり対数は[[wikipedia:ja:自然対数|自然対数]]<span class="texhtml">(log<sub>''e''</sub>)</span> を用いていると考える。この自然対数を考えた時の情報量の単位は、ナット(nat)と決めれている。他に、情報量を議論をするときにしばしば用いられるのは、対数の底を2とする場合で、その時の情報量の単位は、[[wikipedia:ja:ビット|ビット]] (bit)と呼ばれている。<br> また、本項目では情報量は、もとになる確率が離散の場合（いくつかの個別の事柄として事象を数えられる場合）について記述した。実際には、事象が連続の場合もある。たとえば、正規分布に従って起きる事象などはその例となる。このような連続の値を取るような場合にも情報量を定義できる。本質的な考え方は離散の場合と同様である。 | 単位についても触れておこう。たとえば、「長さ」の単位としては、メートルなどがあるが、「情報量」の単位はどうなのか。情報量は、本来は、無次元の量とされている。一方で、式(2)では[[wikipedia:ja:対数|対数]]<span class="texhtml">(log)</span>を使っている。慣用としては、式（2）のように対数の[[wikipedia:ja:底|底]]を書かないときには、その底は、<span class="texhtml">''e''</span> 、つまり対数は[[wikipedia:ja:自然対数|自然対数]]<span class="texhtml">(log<sub>''e''</sub>)</span> を用いていると考える。この自然対数を考えた時の情報量の単位は、ナット(nat)と決めれている。他に、情報量を議論をするときにしばしば用いられるのは、対数の底を2とする場合で、その時の情報量の単位は、[[wikipedia:ja:ビット|ビット]] (bit)と呼ばれている。<br> また、本項目では情報量は、もとになる確率が離散の場合（いくつかの個別の事柄として事象を数えられる場合）について記述した。実際には、事象が連続の場合もある。たとえば、正規分布に従って起きる事象などはその例となる。このような連続の値を取るような場合にも情報量を定義できる。本質的な考え方は離散の場合と同様である。 | ||
| 66行目: | 65行目: | ||
*脳科学における情報量とその使い方を解説した教科書も複数出ているので必要に応じて参照されたい<ref>'''Dayan, P., and Abbot, L.F. '''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems<br>''MIT Press'':2001</ref> <ref>'''Rieke, F., Warland, D., Deruytervansteveninck, R., and Bialek, W.'''<br>Spikes: Exploring the Neural Code<br>''Computational Neuroscience MIT Press'':1949</ref>。 | *脳科学における情報量とその使い方を解説した教科書も複数出ているので必要に応じて参照されたい<ref>'''Dayan, P., and Abbot, L.F. '''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems<br>''MIT Press'':2001</ref> <ref>'''Rieke, F., Warland, D., Deruytervansteveninck, R., and Bialek, W.'''<br>Spikes: Exploring the Neural Code<br>''Computational Neuroscience MIT Press'':1949</ref>。 | ||
== 参考文献 == | == 参考文献 == | ||
<references /> | <references /> | ||
<br> （執筆者：中原裕之 担当編集者：藤田一郎） | |||
（執筆者：中原裕之 担当編集者：藤田一郎） | |||