情報量

英語名：information entropy

情報と情報量

情報とは、それを知ることで何かを教えてくれる、ことである。つまり、それを知ることで何かの不確実さが減ることになる。情報の「量」を定義し、その不確実さの変化を量として測定可能にすることが、「情報量」の本質的な目的となる。このとき、不確実さが減るほど、情報量が大きくなるように定義したいというのは自明だろう。

簡単な例

1 から 6 まで数字がでるサイコロを用いて情報量が持っていてほしい性質を捉まえてみよう。このサイコロはどの目も確率6分の1で出るはずだが、サイコロをふるまではどの目がでるかはわからない。ひとたびサイコロを振ると、ある目が出る。サイコロを振る前と振った後では、不確実さが減っている。これをどのように測るかが情報量を定義するときの本質的な課題である。

6面体のサイコロから、20面体のサイコロに変えたとする。この場合もサイコロを振る前と振った後では不確実さが減るが、どちらのサイコロの場合のほうが不確実さは減るだろうか？直観的に、出るかもしれない目が多いのだから（20面体では各々の目の出る確率は20分の1であり、6分の1よりも小さいから）、サイコロを振ることで減った不確実さは、20面体のときのほうが大きい。つまり、確率の小さな事象が起きたことを知るときのほうが、不確実さの減り方は大きい、すなわち情報量が大きい、としたい。

6面体の例に戻る。サイコロを振ったあと、出た目の数を自分では直接見ず、別の人が見て、偶数だったか奇数だったか教えてもらうとする。この場合、偶数か奇数かはわかるので、サイコロを振る前よりは不確実さは減っているが、出た目を自分で直接見るのに比べれば、その減り方は少ない。偶数か奇数か教えてもらったあと、偶数グループの3つの数字にあらためてA，B，C（奇数グループはD，E，F）と関連付けたアルファベットを教わったとする。A，B，Cのどれかだったかを教われば、1～6の数字のどれが出たのかはわかる。直観的には、この偶奇を教わってからアルファベットを教わった場合に最終的に減った不確実さと、最初から自分で数字を見るときに減った不確実さは、同じであってほしい。

情報量の定義方法

情報量は、上述の直観を反映するように定義される。確率の事象が起きたことを知らせる情報に含まれる情報量は、

$-\log p$

（執筆者：中原裕之　担当編集委員：藤田一郎）