「自由エネルギー原理」の版間の差分

　19世紀の物理学者兼医師であった[[w:Hermann_von_Helmholtz|Hermann von Helmholtz]]は、ヒトの感覚入力は不完全であるため、脳は不十分な情報を補うために無意識に推論を行うことで知覚を支えているという無意識的推論の概念を提唱した<ref name=Helmholtz1925>'''Helmholtz, H. (1925).'''<br>Treatise on Physiological Optics (Vol. 3). Optical Society of America, Washington, DC.</ref>。つまり、脳は感覚入力の背後にある隠れた状態変数（隠れ状態）のダイナミクスを無意識に推論していると考えられる。ここでは、このように自律的に外界を推論する実体をエージェントと呼ぶこととする。Helmholtzの提唱した概念的な枠組みに加えて、無意識的推論は計算神経科学や機械学習の分野において統計学に基づき実装されてきた<ref name=Dayan1995><pubmed>7584891</pubmed></ref>。とりわけ予測符号化は、予測誤差というコスト関数を最小化することで外界の予測を行うための内部表現を自律的に獲得する理論的な枠組みであり、視覚野<ref name=Rao1999><pubmed>10195184</pubmed></ref>や他の脳領域における情報処理のモデルとして適用されてきた。このような最適化はベイズ推論（[[ベイズ推定]]）と呼ばれる統計学的な推論として理解することができる。ベイズ推論とは、観測データに基づき事前確率（prior belief）を事後確率（posterior belief）に更新する過程のことであり、事前確率・事後確率とはそれぞれ観測の前・後におけるエージェントが持つ外部状態に関する信念を意味している。そこで、ベイズ推論の枠組みに基づき脳を理解しようとする、ベイズ脳仮説が提唱されてきた<ref name=Knill2004><pubmed>15541511</pubmed></ref><ref name=Doya2007>'''Doya, K., Ishii, S., Pouget, A., Rao, R.P. (Eds.) (2007).'''<br>Bayesian Brain: Probabilistic Approaches to Neural Coding. MIT Press, Cambridge, MA, USA.</ref>。以上のように脳の理論が発展してきた流れの中で、イギリスの神経科学者である[[w:Karl_J._Friston|Karl J. Friston]]は、ベイズ推論の枠組みの下で脳認知機能や神経・精神疾患、心理・生命現象を数理的かつ統一的に説明するための理論として、自由エネルギー原理を提唱した<ref name=Friston2006><pubmed>17097864</pubmed></ref><ref name=Friston2010><pubmed>20068583</pubmed></ref>。

　多くの場合、事後期待値<math>\boldsymbol{\vartheta}</math>（すなわち、観測に基づく<math>\vartheta</math>の推定値）は事後分布を近似的に表すのに十分である。このことから、<math>F</math>の<math>\boldsymbol{\vartheta}</math>についての最小化問題を解くことで、元の<math>F</math>の<math>Q(\vartheta)</math>についての最小化問題を解くことが可能である。したがって、勾配降下法を用いて、<math>F</math>を<math>\boldsymbol{\vartheta}</math>の各成分について最小化することで、事後分布を最適化することができる：

ここで、<math>\boldsymbol{\vartheta}_i</math>は<math>\boldsymbol{\vartheta}</math>の<math>i</math>番目の成分を示している。この<math>\boldsymbol{\vartheta}</math>の更新は固定点（すなわち、<math>\dot{\boldsymbol{\vartheta}}=0</math>を与える<math>\boldsymbol{\vartheta}</math>）に到達して収束する。その<math>\boldsymbol{\vartheta}</math>（より一般には<math>Q(\vartheta)</math>）はベイズ推論の意味で最適な内部表現と行動であることを意味している。このように、自由エネルギー原理は、推論（すなわち、<math>\mathbf{s}</math>の最適化）、学習（<math>\boldsymbol{\theta}</math>の最適化）、適応的行動制御（<math>\boldsymbol{\delta}</math>の最適化）、将来の<math>o</math>と<math>s</math>の予測、将来の結果に関するリスクを最小化する計画について、一つの法則で統一的に説明することができる。

　能動的推論は、エージェントが予測と異なる感覚入力を受け取ったときに起きる。例えば、エージェントが外界の生成過程と異なる生成モデルを採用している場合、外部環境の生成過程をエージェントが採用している生成モデルに近づけるために行動が生成される<ref name=Friston2011><pubmed>21327826</pubmed></ref>。一例として、エージェントである鳥が他の鳥の歌が聞こえている状態を学習すると、その歌が聞こえている状態がサプライズを最小化するようになる（Kiebel et al.2008; Friston & Frith, 2015a; Friston & Frith, 2015b）。したがって、エージェントが歌を聞いていないときは、歌がないことで大きなサプライズが生じるため、自ら歌う、あるいは同種の鳥を探すなどの行動をすることで歌を聞こうとする。行動生成の結果、エージェントは自分自身の予測（つまり、予測された歌）を実際の感覚入力として受け取ることになり、サプライズを最小化することができる。なお、鳥は行動生成に先立ち、歌が聞こえない状況に再適応する可能性もある。このように、サプライズの最小化には、エージェントの内部状態が外部環境状態に近づく場合と、エージェントの行動によって外部環境状態が内部状態に近づく場合の2通りの方法が存在する。学習速度と行動生成の閾値のバランスにより、学習と行動生成のどちらを行うかが決定される。

　能動的推論は行動計画の説明にも適用できる<ref name=Friston2017><pubmed>27870614</pubmed></ref>。行動計画は、将来の不確実性を最小化するための方策（policy）の選択に相当し、推論の一種である（Attias, 2003; Botvinick & Toussaint, 2012; Maisto et al, 2015; Kaplan & Friston, 2018; Millidge, 2020）。行動（<math>\delta</math>）が外部の環境に直接影響を与えるのに対して、方策（<math>\pi</math>）は将来の計画（つまり一連の行動）を表し、行動を決定するパラメータに相当する。方策の事後確率は負の期待自由エネルギーに精度を乗じたものの指数に比例する。したがって、エージェントは各方策に対応する期待自由エネルギーを計算し、最小の期待自由エネルギーを与える方策を選択する。ここでは、将来の結果に関するprior preferenceが、報酬と罰に相当する情報を含んでおり、期待自由エネルギーの形状を特徴づける。

　一方で、理論的考察により自由エネルギー原理の普遍性を示す研究も行われている。一般に、生物とその周囲の環境が区別されることは、内部状態と外部状態を統計的に分離するマルコフブランケット（Markov blanket）の存在を示唆する。システムが（非平衡）定常状態に達したとき、生物の内部状態の条件付き期待値は、外部状態に関する事後確率を表現していると見なすことができる（Friston, 2013; Friston, 2019; Parr et al., 2020）。このことは、いかなる（非平衡）定常状態も、何らかのベイズ推論を実現していると解釈できることを意味する。あるいは、完備類定理（complete class theorem）（Wald, 1947; Brown, 1981; Berger, 2013）によれば、エージェントが何らかのコスト関数を最小化しているとき、エージェントの挙動をベイズ推論の観点から説明できる事前分布とベイズ的コスト関数の組が少なくとも1つは存在する。これは、生物あるいは脳がベイズ推論を行うエージェントとして振る舞うという仮説は実験的に反証できない（自明に正しい）かもしれないことを意味する（Daunizeau et al., 2010）。この性質は、自由エネルギー原理の実験的検証を設計する際に問題になると考える人もいるかもしれないが、この性質こそが脳の理論を構築する上での重要な長所であると見ることもできる。最近の理論研究においては、古典的な神経活動やシナプス可塑性の方程式を導くような神経生理学的に妥当なコスト関数と、部分観測マルコフ決定過程の下での変分自由エネルギーが数理的に等価であることが示されている（Isomura et al., 2022）。これらの数理的な性質は、脳が自由エネルギー原理に従っていると見なすことができることを示唆している。