「脚橋被蓋核」の版間の差分

強化学習機構を解明する上で、「報酬予測誤差がドーパミンニューロンでどのように計算されているのかということ」が生理学的、計算理論的に最も重要な問題の一つであると考えられる<ref name=ref32><pubmed> 12371507 </pubmed></ref>。ドーパミンニューロンはドーパミン放出による投射部位のシナプス可塑性の制御<ref name=ref33><pubmed> 11544526 </pubmed></ref>という形で強化学習に重要な役割を果たしているが、ドーパミンニューロンへの入力信号の性質が計算論的に明らかにされていないために、いまだに報酬予測誤差の計算過程がわかっていない。

PPNは大脳基底核<ref name=ref13><pubmed> 15374668 </pubmed></ref>、視床下部外側野<ref name=ref34><pubmed> 1281170 </pubmed></ref>、大脳皮質<ref name=ref35><pubmed> 16222438 </pubmed></ref>、大脳辺縁系<ref name=ref36><pubmed> </pubmed></ref>などから報酬関連入力を受け取り、ドーパミンニューロンに多くの投射線維を送る<ref name=ref37><pubmed> 3169185 </pubmed></ref>ことが知られている。PPNは黒質緻密部のドーパミンニューロンに対して強力な興奮性シナプス入力を供給している<ref name=ref38><pubmed> 7777224 </pubmed></ref>。さらに、ドーパミンニューロンはその興奮性入力の主なものがPPN由来であることが知られている。Futamiらはラット脳幹スライス標本を用いてPPN刺激により黒質緻密部のドーパミンニューロンに誘発されるコリン作動性、グルタミン酸作動性入力の興奮作用を解析した。そして、コリン作動性の興奮作用は持続時間が長く（数百ｍｓ），グルタミン酸作動性のそれは持続時間が短いこと、2）また前者はムスカリン受容体およびニコチン受容体を介し、後者はNMDA受容体と非NMDA受容体を介することなどを明らかにした。これらの結果とPPNニューロンの律動的、非律動的な発火特性を考慮すると、アセチルコリン作動性の投射はドーパミンニューロンの興奮性を定常状態に維持する上で、グルタミン酸作動性の投射は、その興奮性を一過性に変動させる上で有効であると考えられる。また、さらにPPNの電気刺激によっておきるPPNからのアセチルコリン放出によってドーパミンニューロンのムスカリン受容体<ref name=ref39><pubmed> 11731553 </pubmed></ref>、ニコチン受容体<ref name=ref40><pubmed> 12871768 </pubmed></ref>の活性化が起こり、ドーパミンニューロンが一過性のバースト活動を引き起こすこと<ref name=ref10><pubmed> 10392847 </pubmed></ref>などから、PPNからの興奮性入力がドーパミンニューロンにおける報酬情報処理過程に重要な役割を果たしていることが示唆される。

岡田らが行った視覚誘導性サッケード課題中のサルのニューロン活動解析<ref name=ref27><pubmed> 12163524 , name=ref47><pubmed> 17344541 </pubmed></ref>によって、以下の２種類のニューロン活動が見つかった。1) 課題の達成度、あるいはサルの報酬期待度によって大きさが変わる、注視刺激呈示から始まり、報酬時まで続く持続的応答、2) 報酬期待の度合いに無関係で一時的な報酬に対する直接の応答、が観察された。ところで、PPNはどこから動機付け、報酬予測に関連した信号を受け取っているのだろうか。　第一に興奮性信号は腹側線条体－腹側淡蒼球経路の二重抑制でやってくると思われる。この経路ではPPNの興奮は二重抑制によって生じると思われる。第二に興奮性信号源が扁桃体や視床下核<ref name=ref34><pubmed> 1281170 </pubmed></ref>である可能性が考えられる。また、第三に興奮性信号源が大脳皮質であるという可能性が考えられる。最近松村はパーキンソン氏病との関連からPPNに対する大脳皮質由来（特に運動野）の入力に着目している<ref name=ref35><pubmed> 16222438 </pubmed></ref>。また、PPNは帯状回や前頭葉から報酬予測信号を受け取っていると思われる。

または岡田らはPPNで報酬予測には無関係で、与えられた報酬に関係したニューロン活動を記録した。この実報酬信号は視床下部外側野からやってくると思われる<ref name=ref48><pubmed> 3512788 </pubmed></ref>。この経路は単シナプス性にPPTNを興奮させ<ref name=ref34><pubmed> 1281170 </pubmed></ref>、一過性のバーストを生じさせる<ref name=ref45><pubmed> 9746146 </pubmed></ref>。このPPNでの一過性バーストが ドーパミンニューロンの「予期せぬ報酬に対する一時的な興奮性応答」を引き起こしているのかもしれない。今後これらのニューロン活動が強化学習に必要な実報酬信号のどの要素（報酬量の正確な計測、報酬予測との関連性）を表現しているのか明らかになると思われる。