視覚系の順逆変換モデル

　視覚系は対象の様々な視覚属性を二次元網膜像から非常に短時間で推定し、知覚している。川人と乾 (1990)は、視覚の不良設定問題を短時間で解くモデルとして順逆変換モデルを提案した。順変換（順光学）は3次元世界から2次元網膜像を生成する変換であり、逆変換（逆光学）は2次元網膜像から3次元世界の属性を推定する変換である。モデルでは、視覚系では上行性結合（前向き結合）によって近似逆変換が計算され、下行性結合（後ろ向き結合）によって順変換が計算される。この順変換と近似逆変換の計算ループを通じて、速くかつ正確に外界の属性が推定されることが示された。

　対象のさまざまな視覚属性は2次元網膜像から推定されている。属性の多くは、3次元であり、2次元網膜像から3次元属性の推定は一般には解けない不良設定問題（ill-posed problem）である。3次元世界から2次元網膜像を作る画像生成過程は、物理法則に従っていて、順光学（forward optics）と呼ばれる。対象の属性は、この逆の過程を経て推論されなければならない。

　脳の計算は、基本的に階層的ベイズ推定の枠組みでとらえられている（たとえば、乾，2004）。ベイズ推定は、ベイズの公式

（事後確率）$\varpropto$（事前確率）$\cdot$（条件付確率）

から事後確率を最大にする原因を特定することによって推論する（これを最大事後確率推定と呼ぶ）。事前確率は先験的知識である。そして、脳は高速に最大事後確率推定によって網膜像から外界の状態や構造を推定していると考えられた。一方、我々が正しく外界を知覚できるのは、一般の自然界で成立する何らかの制約条件を用いて、この逆問題（不良設定問題）を解いているからだと考えられている（逆光学；inverse optics）。

　川人と乾 (1990)は以下のような理論を提案した。まずHorn (1975) の画像放射照度方程式（image irradiance equation）を一般化した次の画像生成方程式を基本に考える。

$I(\mu ,x,y,\lambda ,t)=R(s_{1},s_{2}...,s_{m})$

　左辺は、二次元画像強度データを示し、左眼の画像構文解析に失敗 (SVG（ブラウザのプラグインで MathML を有効にすることができます）: サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle (&micro; 0)} か右眼の画像構文解析に失敗 (SVG（ブラウザのプラグインで MathML を有効にすることができます）: サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle (&micro; 1)} の網膜上の位置$(x,y)$での、時間$t$、波長構文解析に失敗 (構文エラー): {\displaystyle &lambda;} の光強度を示す。$S=(S1,S2,K,Sm)$とすると、右辺は視覚世界の状態や構造構文解析に失敗 (SVG（ブラウザのプラグインで MathML を有効にすることができます）: サーバー「https://wikimedia.org/api/rest_v1/」から無効な応答 ("Math extension cannot connect to Restbase."):): {\displaystyle S''から画像データ<math>I} が決まる画像生成過程を非線形関数$R$で表したものである。 の中の変数S1～Smはすべて視覚大脳皮質で別々に表現され再構成されていると考える。具体的な$Si$として、画像強度$I$のある方向への1階微分と2階微分、局所的な速度や、両眼視または単眼視によって得られた奥行きや面の傾き、面の色、照明光の色や光源位置、物体の3次元的空間位置、観察者自身の移動速度ベクトルなどである。

　視覚の目的は から を推定することである。マルコフ確率場（Markov random field）理論を用いると最大事後確率推定は、以下の事後エネルギーの最小化として定式化される。具体的には、$S$の事前確率（内部モデル）を 、$P(S)$、$S$が与えられたときの$I$の条件つき確率を$P(I|S)$で表す。そして、これらがGibbs分布に従うと仮定して、対応するエネルギーを$U(S)$、$U(I|S)$とすると、事後エネルギー$U(S|I)$は、

$U(S|I)=U(I|S)+U(S)$

と書くことができる。この事後エネルギーを最小化することによって最大事後確率推定ができる（たとえば、川人，1995：乾，2004参照）。

　これを解くために、視覚大脳皮質はその並列階層構造に上式右辺の画像生成過程の近似逆変換 と順変換 を埋め込んでいると仮定する。具体的には、

$U(S|I)=1/2[R^{\#}\{I-R(S)\}]^{2}+U(S)$

U(S|I)=1/2[R^#{I-R(S)}]^2+U(S) とする。そして大脳皮質1次視覚野から高次視覚野への上行性（前向き）神経結合によって の近似逆変換（すなわち近似逆光学） が計算され、高次視覚野から1次視覚野への下行性（後向き）神経結合によって順光学 が計算されると仮定する。そして事後エネルギー最小化が次式で表すような神経回路モデルで計算されていると仮定する（図）。

$S(0)=R^{\#}(I)$

${\frac {dS(t)}{dt}}=R^{\#}\{I-r(S)\}-{\frac {\partial U(S)}{\partial U}}$

　図では，2次元画像データ構文解析に失敗 (構文エラー): {\displaystyle Iは視覚下位中枢に，視覚世界の様子Sは視覚上位中枢に表現されている．このモデルは視覚下位中枢を折返しにして鏡像対称となっている．このとき、領野間の前向きと後ろ向きの結合ループを信号が循環する間に正しい解に到達することが示された。 　図に示したモデルは、<math>S} をひとまとめにして記述したモデルである．実際には、$s₁$から$s_m$が，一次視覚野から高次視覚野で別々に表現されており、各階層間で上記の順逆変換のループが働いて各属性が推定されると考えられている。これらの計算過程やそれを支持する生理学や解剖学の知見については、川人・乾 (1990) や乾 (1993) を参照。

　なお、知覚の計算を行うときには前向きと後ろ向きの神経回路が用いられるが、後ろ向きの結合は、順光学なので仮に外部刺激による信号がないときに働けば、知覚時と同じ活動を再現することが可能である。つまりこのような順逆変換が学習されれば（彼らの理論では学習アルゴリズムも与えている）外界の情報の処理と内的イメージの生成が同時に可能になるのである。具体的な視覚問題に適用された例は、Kawato, M., Hayakawa, H., and Inui, T. (1993)にある。なおこの理論は、Fristonの脳の統一理論である自由エネルギー原理において拡張された（Friston, 2006: 乾・阪口, 2020）。

図. 大脳視覚皮質の順逆変換モデルの概要