11
回編集
「自由エネルギー原理」の版間の差分
細
編集の要約なし
Takuya Isomura (トーク | 投稿記録) 細編集の要約なし |
Takuya Isomura (トーク | 投稿記録) 細編集の要約なし |
||
| 16行目: | 16行目: | ||
自由エネルギー原理は、簡単にいうと「生物の知覚や学習、行動は変分自由エネルギーと呼ばれるコスト関数を最小化するように決まり、その結果生物は外界に適応できる」という理論である。変分自由エネルギーの最小化というシンプルな法則に基づき、生物の知能をベイズ推論により統一的に記述し理解することを目的としている<ref name=Friston2006><pubmed>17097864</pubmed></ref><ref name=Friston2010><pubmed>20068583</pubmed></ref>。 | 自由エネルギー原理は、簡単にいうと「生物の知覚や学習、行動は変分自由エネルギーと呼ばれるコスト関数を最小化するように決まり、その結果生物は外界に適応できる」という理論である。変分自由エネルギーの最小化というシンプルな法則に基づき、生物の知能をベイズ推論により統一的に記述し理解することを目的としている<ref name=Friston2006><pubmed>17097864</pubmed></ref><ref name=Friston2010><pubmed>20068583</pubmed></ref>。 | ||
生物は、外界や身体のダイナミクスを表現する生成モデルを脳内に保持していると考えられている（[[内部モデル]]仮説を参照）。生成モデルとは、隠れた状態変数から感覚入力が生成される仕組みをメカニカルに表す数式のことであり、外部状態と感覚入力の同時確率分布として記述できる。この生成モデルに基づき、感覚入力のみからその背後にある生成過程を推論し、将来の感覚入力や隠れ状態を予測する。言い換えれば、生成モデルは、外部状態がどのように感覚入力を生成するかについてエージェントが持っている仮説を意味しており、知覚や学習は生成モデルを実際の生成過程と一致するように自己組織化的に最適化することであると解釈できる。それによって、エージェントの神経回路の活動は、外部の環境状態を正確に推測し、その後の感覚入力や隠れ状態を予測できるようになる（[[予測符号化]]も参照）。 | |||
生成モデルを構成する隠れ状態やパラメータはベイズ推論に基づき定義される予測誤差の指標である変分自由エネルギーを最小化することで最適化することができる。自由エネルギー原理は、生物の内部状態や行動は変分自由エネルギーを最小化するように更新されることを主張している。神経活動やシナプス結合は、変分自由エネルギーを最小化させる方向に変化し、その結果、神経回路は外界のベイズ推論を行うように自己組織化する。さらに自由エネルギー原理が特徴的なのは、推論の最適化の法則により、原因の推論や未来の入力の予測などの知覚のみならず、行動制御や意思決定の最適化についても説明可能な統一理論である点である。ベイズ推論に基づく行動制御・意思決定の最適化は能動的推論（active inference）と呼ばれ、生物学的に妥当で適応的な制御の理論として近年活発に研究されている（Friston et al., 2011; Friston et al., 2016; Friston et al., 2017）。 | 生成モデルを構成する隠れ状態やパラメータはベイズ推論に基づき定義される予測誤差の指標である変分自由エネルギーを最小化することで最適化することができる。自由エネルギー原理は、生物の内部状態や行動は変分自由エネルギーを最小化するように更新されることを主張している。神経活動やシナプス結合は、変分自由エネルギーを最小化させる方向に変化し、その結果、神経回路は外界のベイズ推論を行うように自己組織化する。さらに自由エネルギー原理が特徴的なのは、推論の最適化の法則により、原因の推論や未来の入力の予測などの知覚のみならず、行動制御や意思決定の最適化についても説明可能な統一理論である点である。ベイズ推論に基づく行動制御・意思決定の最適化は能動的推論（active inference）と呼ばれ、生物学的に妥当で適応的な制御の理論として近年活発に研究されている（Friston et al., 2011; Friston et al., 2016; Friston et al., 2017）。 | ||
| 22行目: | 22行目: | ||
図1は、自由エネルギー原理の下で、能動的推論がどのように動作するかの例を示している。ここでは、外界（飼い主）が何か信号を生成すると、エージェント（イヌ）は直接観測できる感覚入力だけから背後の飼い主の状態（気持ち）を推論し、その事後確率（期待値）を脳内で表現する。このとき、自由エネルギーを最小化するように事後確率を更新することで、ベイズ推論を最適に行うことができる。さらに、将来期待される自由エネルギー（期待自由エネルギー）を最小化する行動を能動的に推論し選択することで、欲しい感覚入力（エサ）を得られる確率を最大化することができる。 | 図1は、自由エネルギー原理の下で、能動的推論がどのように動作するかの例を示している。ここでは、外界（飼い主）が何か信号を生成すると、エージェント（イヌ）は直接観測できる感覚入力だけから背後の飼い主の状態（気持ち）を推論し、その事後確率（期待値）を脳内で表現する。このとき、自由エネルギーを最小化するように事後確率を更新することで、ベイズ推論を最適に行うことができる。さらに、将来期待される自由エネルギー（期待自由エネルギー）を最小化する行動を能動的に推論し選択することで、欲しい感覚入力（エサ）を得られる確率を最大化することができる。 | ||
また生成モデルは事前分布により特徴付けられることから、様々な精神障害の神経メカニズムを誤った生成モデルや事前分布に基づくベイズ推論・予測の破綻として理解することが提唱されている<ref name=Friston2014><pubmed>26360579</pubmed></ref>。 | |||
以下では、変分ベイズ推論と能動的推論の概要について（Isomura, 2022）に記載した内容をもとに手短に紹介するが、より包括的な解説や議論に関しては他の総説論文（＠）を参照されたい。 | 以下では、変分ベイズ推論と能動的推論の概要について（Isomura, 2022）に記載した内容をもとに手短に紹介するが、より包括的な解説や議論に関しては他の総説論文（＠）を参照されたい。 | ||
==変分ベイズ推論== | ==変分ベイズ推論== | ||
自由エネルギー原理は、感覚入力（<math>o</math>）の起こりにくさの主観的な指標であるサプライズ（surprise）を最小化することが生物の普遍的な特性であると提唱している。サプライズは、感覚入力の負の対数尤度<math>-\log P_m(o)</math>により定義される。ここで確率分布<math>P_m(o)</math>は、モデル構造<math>m</math>によって特徴付けられる<math>o</math>の統計モデルを意味しており、外界が<math>o</math>を生成する真の分布<math>P(o)</math>とは必ずしも一致しない。サプライズは予期せぬ入力を受けたときに大きな値を取るため、サプライズの最小化は与えられた環境に対する適応度を高めることを意味する。ただし、このサプライズは統計的に定義された指標であり、驚きを感じるという意識的な経験とは概念的に異なることに注意する必要がある。 | |||
サプライズを直接計算するためには、対数の中にある周辺化尤度（つまり同時確率分布の積分）を計算する必要があるため、神経回路にとっては扱いが困難である。そのため神経回路は間接的にサプライズを計算するための扱いやすい代替方法として、変分自由エネルギーと呼ばれるサプライズの上限値を評価していると考えられている。自由エネルギー原理という名称は、この変分自由エネルギーに由来する。こうした自由エネルギーの概念は、統計物理学から導かれたものであり、機械学習の分野において広く用いられている<ref name=Friston2006><pubmed>17097864</pubmed></ref>。この枠組みの下では、変分自由エネルギーを最小化するように神経活動やシナプス結合強度が更新され、行動が生成される。この性質は、熱力学や化学におけるルシャトリエの原理を彷彿とさせるものである。この原理に従い神経回路は自己組織化し、外部状態の変分ベイズ推論を行うことで、様々な脳機能を実現していると考えられている。 | |||
変分ベイズ推論は、一連の感覚入力（<math>o</math>）に基づいて、外部状態に関する事前分布<math>P_m(\vartheta)</math>を対応する（近似）事後分布<math>Q(\vartheta)</math>に更新する過程である。この推論は、外部状態がどのように感覚入力を生成するかをメカニカルに表現した（階層的）生成モデル<math>P_m(o_{1:t},\vartheta)</math>に基づいている<ref name=Friston2008><pubmed>18989391</pubmed></ref>。ただしここでは、<math>o_{1:t}=\{o_1,\dots,o_t\}</math>は時刻1から<math>t</math>までの感覚入力のことであり、外部状態（<math>\vartheta</math>）は、隠れ状態（<math>s</math>）、エージェントの行動（<math>\delta</math>）、システムパラメータ（<math>\theta</math>）、ハイパーパラメータ（<math>\lambda</math>）の集合として定義し、<math>\vartheta=\{s_{1:t},\delta_{1:t},\theta,\lambda\}</math>と表す（<math>\vartheta</math>と<math>\theta</math>の違いに注意されたい）。一連の行動<math>\delta</math>に代わって方策<math>\pi</math>を使って<math>\vartheta</math>を構成してもよい。例えば、外部環境が離散状態空間である場合、部分観測マルコフ決定過程の形式で外部環境を表現することができる（Friston et al.，2017）。変分ベイズ推論の目的は、エージェントが外部状態に関して主観的に持っている信念の分布である（近似）事後分布<math>Q(\vartheta)</math>を最適化することであり、そのコスト関数である変分自由エネルギー（<math>F</math>）は<math>o</math>と<math>Q(\vartheta)</math>の関数（汎関数）として、次のように与えられる： | |||
:<math> | |||
F(o_{1:t},Q(\vartheta))=\mathrm{E}_{Q(\vartheta)}[-\log P_m(o_{1:t},\vartheta) + \log Q(\vartheta)] | |||
</math> | |||
ただし、<math>\mathrm{E}_{Q(\vartheta)}[\bullet]</math>は<math>Q(\vartheta)</math>についての期待値を表している。この<math>F</math>は常にサプライズ以上の値をとり、等号は<math>Q(\vartheta)</math>と<math>P_m(o_{1:t}|\vartheta)</math>が一致したときのみ成り立つ。したがって、<math>F</math>を最小化することにより、間接的にサプライズを最小化することができる。変分法という方法を用いると、<math>Q(\vartheta)</math>を微小に変化させたときの<math>F</math>の変化の仕方に着目することで、<math>F</math>を最小化する<math>Q(\vartheta)</math>の解（つまり、微小に変化させると常に<math>F</math>が大きくなるような<math>Q(\vartheta)</math>）を見つけることができる。 | |||
式1を式変形することにより、変分自由エネルギーは予測誤差（prediction error）と複雑さ（complexity）の和として表すことができる。予測誤差は、感覚入力や隠れ状態の予測値が実際の値とどの程度異なるかを測定するもので、背景ノイズをガウスとみなした場合、広く用いられている平均二乗誤差に簡略化される<ref name=Friston2008><pubmed>18989391</pubmed></ref>。複雑さとは、事前分布と事後分布の差のことであり、通常、Kullback-Leibler divergenceを用いて評価される。この項は、事後分布が対応する事前分布から離れすぎないように正則化する役割を担っている。 | |||
多くの場合、事後期待値ϑ（すなわち、観測に基づくϑの推定値）は事後分布を近似的に表すのに十分である。このことから、Fのϑについての最小化問題を解くことで、元のFのQ(ϑ)についての最小化問題を解くことができる。したがって、勾配降下法を用いて、Fをϑの各成分について最小化することで、事後分布を最適化することができる： | |||
█(ϑ ̇_i∝-∂F/(∂ϑ_i )#(2) ) | █(ϑ ̇_i∝-∂F/(∂ϑ_i )#(2) ) | ||
| 57行目: | 62行目: | ||
* [[予測符号化]] | * [[予測符号化]] | ||
* [[神経符号化]] | * [[神経符号化]] | ||
* [[内部モデル]] | |||
==参考文献== | ==参考文献== | ||
<references /> | <references /> | ||