視差エネルギーモデル

2012年7月29日 (日) 02:42時点におけるHirokitanaka (トーク | 投稿記録)による版

英:disparity energy model


 奥行きや立体構造を知るための手がかりである両眼視差は、網膜からの視覚経路において第一次視覚野(V1野)ではじめて検出される。この両眼視差の検出に特化したV1野細胞の受容野モデルが視差エネルギーモデルである。現在、視差エネルギーモデルは脳における両眼視差検出機構の標準モデルであり、両眼立体視の神経機構全体を考える上でも強い影響力をもっている。1990年カリフォルニア大学バークレー校の大澤らによって提案された[1]

両眼視差

 
図1 両眼視差 両眼視差. A,さまざまな奥行きにある刺激の網膜投影像。B, 左右の網膜を平にして、上下に並べたもの。注視点Fは、網膜で視力の最も高い中心窩(0で表す)に投影される。注視点と同じ奥行きにある刺激(青)の左右の像は、中心窩を基準とした網膜座標上の同じ位置に投影され、その両眼視差はゼロとなる。一方、注視面と異なる奥行き面上にある刺激(赤、緑)は、左右網膜の異なる位置に投影され、ゼロ以外の両眼視差をもつ。手前にある刺激(緑)と、奥にある刺激(赤)の両眼視差の符号は逆になり、前者を交差視差、後者を非交差視差とよんでいる。

 われわれが両眼でものをみるとき、2つの眼が注視している点(図1Aの黒丸)と同じ奥行きにある刺激(例、図1の青丸)は、左右の網膜上の同じ位置に投影される(=いずれの網膜においても、網膜の中心である中心窩から同じ方向、量だけ離れた位置に投影される、図1B参照)のにたいし、注視点と異なる奥行きにある刺激(図1の赤丸や緑丸)は水平方向にずれた位置に投影される。この網膜像の位置のずれのことを両眼視差という(単に視差ともいう)。両眼視差の量は刺激と注視点の奥行き距離に比例する。また刺激が注視点より手前にある場合と、奥にある場合とで、両眼視差の方向(符号)は逆になる。慣習上、前者にはマイナス、後者にはプラスの符号をつけ、前者を交差視差 、後者を非交差視差とよぶ。


V1野にみられる両眼視差選択性

   網膜からの視覚処理経路において、左右の眼に受容野をもつ両眼性の細胞はV1野ではじめて現れる[2]。これらの細胞の一部は、刺激の両眼視差がある範囲に入るときには強く応答し、それ以外のときにはあまり応答しない特性、すなわち両眼視差選択性を示す[3]。ゼロ視差やさまざまな大きさの交差視差、非交差視差を最適とする細胞が存在する。初期の研究ではこれらの細胞は6つのタイプに分類されたが[4]、最近の研究結果は、これらは1つの連続体として捉えたほうがよいことを示している [5]
 受容野構造の違いから、V1野の細胞は単純型細胞と複雑型細胞とに大きく分類され、いずれのタイプにも両眼視差選択性細胞は存在する。しかし、後述するように、単純型細胞よりも複雑型細胞のほうが両眼視差を検出するうえで理想的な振る舞いをする。この複雑型細胞の両眼視差選択性を説明する受容野モデルが視差エネルギーモデルである。このモデルで複雑型細胞の応答は、複数の単純型細胞からの入力の和で生成される。以下に単純型細胞の両眼受容野構造を述べ、続いて視差エネルギーモデルを説明する。

単純型細胞の受容野構造と両眼視差選択性

 
図2 単純型細胞の受容野構造と両眼視差選択性 A. 単純型細胞の両眼受容野構造. 左右の受容野はx-y2次元構造とx-方向の1次元断面図を示している。Sは細胞体、下の四角は半波整流機構を表す。B-D. 単純型細胞の視差選択性。上の四角は、刺激(明るいスポットとする)の左右網膜像を表し、すぐ下の受容野をもつ細胞にとって最適な両眼視差をとる場合の位置関係を表す。B. ゼロ視差を最適とする受容野構造. C. 位置モデルによる非交差視差選択性。D. 位相モデルによる非交差視差選択性。E. Bの細胞と同じ受容野をもつが、左眼刺激を中心より左へずらして固定した場合、細胞はゼロ視差より交差視差により強く応答する

 単純型細胞細胞は、明るい刺激に応答するON領域と暗い刺激に応答するOFF領域が分離した受容野をもつ。受容野の空間構造はガボール関数で近似できる。

 多くの単純型細胞は両眼に受容野をもつ。これら両眼性単純型細胞の応答は、両眼からの入力を左右の受容野で重みづけをして足し合わせたのち、さらに半波整流をしたものとして表すことができる(図2A)。

 単純型細胞が様々な視差に選択性をもつ機構には、大きくわけて2種類のものが考えられる[6][7]。1つは、左右の受容野の形は同じであるが、その位置がずれることにより視差選択性が生じる機構で「位置モデル」と呼ばれている。このとき細胞は、受容野の位置のずれと等しい両眼視差刺激に最も強く応答する。たとえば、図2Bの受容野をもつ細胞はゼロ視差に最も強く応答し、図2Cの受容野をもつ細胞は非交差視差に最も強く応答する。第2の機構は、受容野の(中心)位置は同じであるが、受容野の形(位相)が異なることにより両眼視差選択性が生じる機構で、「位相モデル」とよばれている(図2D)。実際の細胞は、「位置タイプ」あるいは「位相モデル」で説明されるもの以外に、左右受容野の位置と位相が両方ずれた「ハイブリッドモデル」で説明されるものもある。このような様々な種類ものもがある意義については、対応点問題(後述)を解決するのに有効であることが理論的に示されている[8]
 多くの両眼性単純型細胞は、両眼視差によって非常に大きな応答の変動を示す。しかし、単純型細胞の両眼視差依存性には、刺激の左右投影像の単眼上での位置や、刺激のコントラストにも大きく依存するという問題がある。このような問題のため、通常、単純型細胞がV1野の両眼視差検出器として取り扱われることはない。


視差エネルギーモデル

 
図3 視差エネルギーモデル複雑型細胞を模倣したエネルギーユニット(Cの記号で表す)は、両眼性単純型細胞を模倣した4つのサブブユニット(S1, S2, S3, S4)が出す信号を線形加算し、外部に出力する。詳細は本文参照。

  単純型細胞の両眼視差選択性は、視覚刺激の(単眼)位置やコントラストに依存するのにたいし、複雑型細胞の両眼視差選択性はそれらに依存せず一定である。この複雑型細胞の特性を説明するモデルが視差エネルギーモデルであり、図3のように表される[1][9]。このモデルにおいて、複雑型細胞(Cの記号で表す)は、両眼性単純型細胞をモデル化した4つのサブユニット(S1, S2, S3, S4)が出す信号を線形加算し、外部に出力する。4つのサブユニットのガボールフィルターの位相は、右眼、左眼のそれぞれにおいて90度ずつ異なっている。サブユニットの左右フィルターの方位、空間周波数は全て同じである。

 各サブニットにおいて、左右ガボールフィルターの両眼間の位相差を(4つのサブユニットで同一に保ちながら)変化させることで、モデルの両眼視差選択性を変化させることができる。あるいは、両眼位相差を0にしたまま、4つのサブユニットそれぞれにおいて、左右の受容野の位置を一定量ずらすことでも、モデルの両眼視差選択性を変化させうる。前者は単純型細胞の「位相モデル」に対応し、後者は「位置モデル」と対応する。図3の例では、サブユニットの左右の受容野は位相、位置ともにずれがなく、モデルはゼロ視差に選択性をもつ。
  刺激の左右の像が、複雑型細胞の最適な両眼視差をもつ場合、受容野内部のどの場所に刺激がくる場合でも、4つのサブユニットのいずれかが強く応答する。図3の場合、明るいゼロ視差の刺激が受容野の中心に呈示される場合にはS1が、左部分に呈示される場合にはS2が、右部分に呈示される場合にはS4がそれぞれ強く応答する。また、背景より暗いゼロ視差の刺激が受容野の中心、左部分、右部分に呈示される場合には、S3、S4、S2がそれぞれ強く応答する。このため、複雑型細胞は、受容野内部の刺激の位置やコントラストに影響されずに、同じ両眼視差選択性を示すようになり、両眼視差の検出器としては理想的な振る舞いをする。

  視差エネルギーモデルは、最小4つのサブユニットの組み合わせで複雑型細胞の特性を表しうることを述べたものであり、複雑型細胞が必ず4つの単純型細胞の入力により生成されることを提唱しているわけではない。実際には、4つ以上の単純型細胞の入力により複雑型細胞の受容野構造は形成されていると推定されている[10]

  視差エネルギーモデルが行っている計算は、2枚の画像についての局所的な相関計算と類似性がある。2枚の画像の局所相関を計算する場合、2枚の画像を一定量ずらしたとき同じ位置にくる画素値をかけあわせて、その局所平均をとる。視差エネルギーモデルが行っていることは数学的にはこのような計算と捉えることができる[11]


視差エネルギーモデルの拡張による種々の両眼視差の検出

相対視差

 ここまで扱ってきた両眼視差は、中心窩を基準とした座標系における、左右網膜像の位置のずれとして定義されたものであり、絶対視差ともよばれるものである。これにたいし、2つの刺激がもつ絶対視差の差異のことを相対視差とよぶ。われわれは隣接する刺激の奥行きを非常に精度よく弁別できるが、これには眼球の輻輳運動の影響をうけない相対視差が利用されていると考えられている。サルV1野の細胞の大部分は絶対視差をコードしているが、V1野から入力を受けるV2野やV4野には、相対視差に選択性応答を示す細胞が一定の割合で存在する[12][13]。この選択性は、異なる場所に受容野をもち、異なる絶対視差に選択性をもつ視差エネルギーモデルの出力を2段階的に統合することで生成できる。[12]

視差の勾配

 物体表面が前額平行面から傾いているとき、その表面上の特徴点は網膜上で両眼視差の勾配を作り出す。視差エネルギーモデルは、受容野内部で、異なる視差選択性をもつサブユニットからの信号を線形に加算するだけで、視差勾配への選択性を一部もつようになる。しかしながら、この選択性は絶対視差自身にも強く依存する[14]。ネコV1野はそのような特性を示す細胞が存在することが示されている。

方位視差

 前額平行面から奥行き方向に傾いた線分が網膜に投影されるとき、左右の網膜上での線分の方位にはずれが生じる。この方位視差を手がかりに、われわれは線分の奥行き方向の傾きを知ることができる。視差エネルギーモデルは、4つのサブユニットのそれぞれにおいて、左右受容野の方位が同じ量だけ異なるときに、方位視差に対する感受性を一部獲得する。サルV1野にはこのような特性を示す細胞が報告されている。さらに、様々な方位に選択性をもつサブニットからの入力を集めることで、視差エネルギーモデルは、刺激の方位自身には依存せず、方位視差のみに選択性をもつようになるが、そのような特性を示す細胞は報告されていない[15]

2次特徴の両眼視差

 視覚系が利用可能な両眼視差のうち、最も強い奥行き手がかりとなるものは輝度のエッジにより生じる両眼視差である。しかし、テクスチャーエッジ(例えば、縦縞と横縞の境界)など2次特徴とよばれる刺激により生じる両眼視差からも奥行き知覚は可能である。視覚野の細胞の多くは、輝度エッジの両眼視差にしか応答しない。しかし、2次特徴の両眼視差に選択性をもつ細胞がネコ18野(細胞構築学的にはV2野とされる)で発見されている。2次特徴の両眼視差は、両眼視差エネルギーモデルの各サブユニットの左右受容野を、線形フィルターではな『”フィルター>整流>フィルター』というカスケード型の非線形機構で置き換えることで検出できる。
[16]


視差エネルギーモデルと両眼対応点問題

 両眼視差を正しく検出するためには、左眼の網膜像のどの特徴と右眼の網膜像のどの特徴とが対応するのか(同じ外界刺激の投影像であるのか)を正しく決めることが不可欠である。この課題を対応点問題とよぶ。刺激が視野の中にただ1つしか存在せず、左右の網膜上にはその投影像が1つずつしか存在しない状況では解は自明である。しかし、視野の中に似た刺激が多数存在し、左右の網膜上に似た特徴が多数存在する状況下では、この対応づけは容易ではない。
 上記の多数の刺激が存在する状況では、正しくない組み合わせ(=フォールスマッチ)が細胞の左右の受容野内部に入る状況は頻繁に起こる。このとき視差エネルギーモデルはフォールスマッチにも応答することが示されている。しかしながら、われわれの視覚系は、フォールスマッチに基づいて誤った奥行きを知覚することはなく、正しい組み合わせ(=コレクトマッチ)に基づいて奥行きを知覚している。このためには視差エネルギーモデルが出力するフォールスマッチの信号を遮断し、コレクトマッチの信号を選び出す神経機構が必要となる。 
 V1野細胞は、視差エネルギーモデルの予測よりは低いものの、フォールスマッチにも強く応答する[17][18][19]。一方でサルV4野やIT野など腹側視覚経路の細胞はフォールスマッチにはあまり応答しない[20][21]。このことは視差情報がこの経路に沿って処理されるなかで、対応点問題が解決されていることを示している。対応点問題を解決するための神経機構としては、空間周波数チャネルの収斂に基づく機構や[20]、位置モデル、位相モデルやハイブリッドモデルなど異なる視差機構をもつ細胞の集団活動を利用した機構などが提案されている[8]。V4野では周波数チャネルの収斂が実際に起こっていることが示されている[22]

 V1野複雑型細胞の応答は、基本的には視差エネルギーモデルでよく説明できるが、前述したようにフォールスマッチへの応答が視差エネルギーモデルの予測より減弱する。さらに、視差エネルギーモデルが予測するよりも、自然界に実在する両眼視差のパターンにたいしてより大きな応答変動をすることも示されている。このような応答を説明する機構の1つして、複雑型細胞が、4つ以上の単純型細胞から興奮および抑制入力を受け取るモデルが提案されている。[23] [24]

参考文献

  1. 1.0 1.1 Ohzawa, I., DeAngelis, G.C., & Freeman, R.D. (1990).
    Stereoscopic depth discrimination in the visual cortex: neurons ideally suited as disparity detectors. Science (New York, N.Y.), 249(4972), 1037-41. [PubMed:2396096] [WorldCat] [DOI]
  2. HUBEL, D.H., & WIESEL, T.N. (1959).
    Receptive fields of single neurones in the cat's striate cortex. The Journal of physiology, 148, 574-91. [PubMed:14403679] [PMC] [WorldCat] [DOI]
  3. Barlow, H.B., Blakemore, C., & Pettigrew, J.D. (1967).
    The neural mechanism of binocular depth discrimination. The Journal of physiology, 193(2), 327-42. [PubMed:6065881] [PMC] [WorldCat] [DOI]
  4. Poggio, G.F., Gonzalez, F., & Krause, F. (1988).
    Stereoscopic mechanisms in monkey visual cortex: binocular correlation and disparity selectivity. The Journal of neuroscience : the official journal of the Society for Neuroscience, 8(12), 4531-50. [PubMed:3199191] [WorldCat]
  5. Prince, S.J., Pointon, A.D., Cumming, B.G., & Parker, A.J. (2002).
    Quantitative analysis of the responses of V1 neurons to horizontal disparity in dynamic random-dot stereograms. Journal of neurophysiology, 87(1), 191-208. [PubMed:11784742] [WorldCat] [DOI]
  6. DeAngelis, G.C., Ohzawa, I., & Freeman, R.D. (1991).
    Depth is encoded in the visual cortex by a specialized receptive field structure. Nature, 352(6331), 156-9. [PubMed:2067576] [WorldCat] [DOI]
  7. Prince, S.J., Cumming, B.G., & Parker, A.J. (2002).
    Range and mechanism of encoding of horizontal disparity in macaque V1. Journal of neurophysiology, 87(1), 209-21. [PubMed:11784743] [WorldCat] [DOI]
  8. 8.0 8.1 Read, J.C., & Cumming, B.G. (2007).
    Sensors for impossible stimuli may solve the stereo correspondence problem. Nature neuroscience, 10(10), 1322-8. [PubMed:17828262] [PMC] [WorldCat] [DOI]
  9. Ohzawa, I., DeAngelis, G.C., & Freeman, R.D. (1997).
    Encoding of binocular disparity by complex cells in the cat's visual cortex. Journal of neurophysiology, 77(6), 2879-909. [PubMed:9212245] [WorldCat] [DOI]
  10. Sasaki, K.S., Tabuchi, Y., & Ohzawa, I. (2010).
    Complex cells in the cat striate cortex have multiple disparity detectors in the three-dimensional binocular receptive fields. The Journal of neuroscience : the official journal of the Society for Neuroscience, 30(41), 13826-37. [PubMed:20943923] [PMC] [WorldCat] [DOI]
  11. Qian, N., & Zhu, Y. (1997).
    Physiological computation of binocular disparity. Vision research, 37(13), 1811-27. [PubMed:9274767] [WorldCat] [DOI]
  12. 12.0 12.1 Thomas, O.M., Cumming, B.G., & Parker, A.J. (2002).
    A specialization for relative disparity in V2. Nature neuroscience, 5(5), 472-8. [PubMed:11967544] [WorldCat] [DOI]
  13. Umeda, K., Tanabe, S., & Fujita, I. (2007).
    Representation of stereoscopic depth based on relative disparity in macaque area V4. Journal of neurophysiology, 98(1), 241-52. [PubMed:17507498] [WorldCat] [DOI]
  14. Sanada, T.M., & Ohzawa, I. (2006).
    Encoding of three-dimensional surface slant in cat visual areas 17 and 18. Journal of neurophysiology, 95(5), 2768-86. [PubMed:16394073] [WorldCat] [DOI]
  15. Bridge, H., & Cumming, B.G. (2001).
    Responses of macaque V1 neurons to binocular orientation differences. The Journal of neuroscience : the official journal of the Society for Neuroscience, 21(18), 7293-302. [PubMed:11549739] [PMC] [WorldCat]
  16. Tanaka, H., & Ohzawa, I. (2006).
    Neural basis for stereopsis from second-order contrast cues. The Journal of neuroscience : the official journal of the Society for Neuroscience, 26(16), 4370-82. [PubMed:16624957] [PMC] [WorldCat] [DOI]
  17. Ohzawa, I., DeAngelis, G.C., & Freeman, R.D. (1997).
    Encoding of binocular disparity by complex cells in the cat's visual cortex. Journal of neurophysiology, 77(6), 2879-909. [PubMed:9212245] [WorldCat] [DOI]
  18. Cumming, B.G., & Parker, A.J. (1997).
    Responses of primary visual cortical neurons to binocular disparity without depth perception. Nature, 389(6648), 280-3. [PubMed:9305841] [WorldCat] [DOI]
  19. Cumming, B.G., & Parker, A.J. (2000).
    Local disparity not perceived depth is signaled by binocular neurons in cortical area V1 of the Macaque. The Journal of neuroscience : the official journal of the Society for Neuroscience, 20(12), 4758-67. [PubMed:10844045] [PMC] [WorldCat]
  20. 20.0 20.1 Tanabe, S., Umeda, K., & Fujita, I. (2004).
    Rejection of false matches for binocular correspondence in macaque visual cortical area V4. The Journal of neuroscience : the official journal of the Society for Neuroscience, 24(37), 8170-80. [PubMed:15371518] [PMC] [WorldCat] [DOI]
    引用エラー: 無効な <ref> タグ; name "ref20"が異なる内容で複数回定義されています
  21. Janssen, P., Vogels, R., Liu, Y., & Orban, G.A. (2003).
    At least at the level of inferior temporal cortex, the stereo correspondence problem is solved. Neuron, 37(4), 693-701. [PubMed:12597865] [WorldCat] [DOI]
  22. Kumano, H., Tanabe, S., & Fujita, I. (2008).
    Spatial frequency integration for binocular correspondence in macaque area V4. Journal of neurophysiology, 99(1), 402-8. [PubMed:17959744] [WorldCat] [DOI]
  23. Haefner, R.M., & Cumming, B.G. (2008).
    Adaptation to natural binocular disparities in primate V1 explained by a generalized energy model. Neuron, 57(1), 147-58. [PubMed:18184571] [PMC] [WorldCat] [DOI]
  24. Tanabe, S., Haefner, R.M., & Cumming, B.G. (2011).
    Suppressive mechanisms in monkey V1 help to solve the stereo correspondence problem. The Journal of neuroscience : the official journal of the Society for Neuroscience, 31(22), 8295-305. [PubMed:21632950] [PMC] [WorldCat] [DOI]

(執筆者:田中宏喜 担当編集委員:藤田一郎)