「自由エネルギー原理」の版間の差分

　変分ベイズ推論は、一連の感覚入力（<math>o</math>）に基づいて、外部状態に関する事前分布<math>P_m(\vartheta)</math>を対応する（近似）事後分布<math>Q(\vartheta)</math>に更新する過程である。この推論は、外部状態がどのように感覚入力を生成するかをメカニカルに表現した（階層的）生成モデル<math>P_m(o_{1:t},\vartheta)</math>に基づいている<ref name=Friston2008><pubmed>18989391</pubmed></ref>。ただしここでは、<math>o_{1:t}=\{o_1,\dots,o_t\}</math>は時刻1から<math>t</math>までの感覚入力のことであり、外部状態（<math>\vartheta</math>）は、隠れ状態（<math>s</math>）、エージェントの行動（<math>\delta</math>）、システムパラメータ（<math>\theta</math>）、ハイパーパラメータ（<math>\lambda</math>）の集合として定義し、<math>\vartheta=\{s_{1:t},\delta_{1:t},\theta,\lambda\}</math>と表す（<math>\vartheta</math>と<math>\theta</math>の違いに注意されたい）。一連の行動<math>\delta</math>に代わって方策<math>\pi</math>を使って<math>\vartheta</math>を構成してもよい。例えば、外部環境が離散状態空間である場合、部分観測マルコフ決定過程の形式で外部環境を表現することができる（Friston et al.，2017）。変分ベイズ推論の目的は、エージェントが外部状態に関して主観的に持っている信念の分布である（近似）事後分布<math>Q(\vartheta)</math>を最適化することであり、そのコスト関数である変分自由エネルギー（<math>F</math>）は<math>o</math>と<math>Q(\vartheta)</math>の関数（汎関数）として、次のように与えられる：

ただし、<math>\mathrm{E}_{Q(\vartheta)}[\bullet]</math>は<math>Q(\vartheta)</math>についての期待値を表している。この<math>F</math>は常にサプライズ以上の値をとり、等号は<math>Q(\vartheta)</math>と<math>P_m(o_{1:t}|\vartheta)</math>が一致したときのみ成り立つ。したがって、<math>F</math>を最小化することにより、間接的にサプライズを最小化することができる。変分法という方法を用いると、<math>Q(\vartheta)</math>を微小に変化させたときの<math>F</math>の変化の仕方に着目することで、<math>F</math>を最小化する<math>Q(\vartheta)</math>の解（つまり、微小に変化させると常に<math>F</math>が大きくなるような<math>Q(\vartheta)</math>）を見つけることができる。

　式1を式変形することにより、変分自由エネルギーは予測誤差（prediction error）と複雑さ（complexity）の和として表すことができる。予測誤差は、感覚入力や隠れ状態の予測値が実際の値とどの程度異なるかを測定するもので、背景ノイズをガウスとみなした場合、広く用いられている平均二乗誤差に簡略化される<ref name=Friston2008><pubmed>18989391</pubmed></ref>。複雑さとは、事前分布と事後分布の差のことであり、通常、Kullback-Leibler divergenceを用いて評価される。この項は、事後分布が対応する事前分布から離れすぎないように正則化する役割を担っている。

　多くの場合、事後期待値ϑ（すなわち、観測に基づくϑの推定値）は事後分布を近似的に表すのに十分である。このことから、Fのϑについての最小化問題を解くことで、元のFのQ(ϑ)についての最小化問題を解くことができる。したがって、勾配降下法を用いて、Fをϑの各成分について最小化することで、事後分布を最適化することができる：

█(ϑ ̇_i∝-∂F/(∂ϑ_i )#(2) )

ここで、ϑ_iはϑのi番目の成分を示している。このϑの更新は固定点（すなわち、ϑ ̇=0を与えるϑ）に到達して収束する。そのϑ（より一般にはQ(ϑ)）はベイズ推論の意味で最適な内部表現と行動であることを意味している。このように、自由エネルギー原理は、推論（すなわち、sの最適化）、学習（θの最適化）、適応的行動制御（δの最適化）、将来のoとsの予測、それに続く将来の結果に関するリスクを最小化する計画について、一つの法則で統一的に説明することができる。