「報酬予測」の版間の差分

提供：脳科学辞典
ナビゲーションに移動 検索に移動
細編集の要約なし
細編集の要約なし
(3人の利用者による、間の95版が非表示)
1行目: 1行目:
<div align="right"> 
<font size="+1">望月泰博、陳冲、福田玄明、[https://researchmap.jp/hiroyukinakahara 中原裕之]</font><br>
''理化学研究所　脳科学総合研究センター　理論統合脳科学研究チーム''<br>
DOI：<selfdoi />　原稿受付日：2018年2月16日　原稿完成日：2018年3月9日<br>
担当編集委員：[http://researchmap.jp/keijitanaka 田中啓治]（理化学研究所　脳科学総合研究センター　認知機能表現研究チーム）<br>
</div>
英：Reward prediction
英：Reward prediction


{{box|text=　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。ここで「報酬」とは、食料・水などに代表される正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るために報酬を予測し、それにもとづく反応や行動選択をみせる。動物の脳では、報酬を予測する刺激の価値・報酬をもたらす行動の価値・報酬への期待のそれぞれを反映した神経活動が報告されており、これらの活動はドーパミンニューロンの活動を学習信号として調整されると考えられている。ここでは、動物がみせる報酬予測にもとづく反応と行動選択、そして報酬予測にかかわる神経活動について述べる。}}
{{box|text=　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。食料・水などに代表される報酬は、正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るため報酬を予測し、それにもとづく反応や行動を見せる。報酬予測は、私たちが常日頃行っているさまざまな意思決定を駆動しており、さらに、脳における学習メカニズムとも深い関わりをもつことが提案されている。ここでは、報酬予測にもとづく反応と行動、また報酬予測にもとづく適応的な行動選択、そしてこれらに関係した神経活動について述べる。}}


==報酬予測にかかわる行動==
==行動実験にみる報酬予測==
　[[報酬]]（reward）の代表である食料・水は、動物の生存に不可欠であり、より多くの報酬を得るために反応・行動することは、種の存続に有利に働く。そのため、動物は特定の情報から報酬の獲得が予測できる状況にあっては報酬を予測し、それにともなう様々な反応と行動選択をみせる。<br />
　報酬の代表である食料・水・配偶者の存在は、動物の生存と生殖に不可欠であり、未来の報酬を予測し、それに合わせて反応・行動することは、種の存続に有利に働く。動物は、特定の情報から報酬の獲得が予測できる状況で、報酬を期待し、それにともなう様々な反応と行動をみせる。
<br />
　動物が実際に報酬を予測していることを示唆する反応や行動選択は、[[パブロフ型条件づけ]]（Pavlovian conditioning、または[[古典的条件づけ]]、classical conditioning）、[[道具的条件づけ]]（instrumental conditioning、または[[オペラント条件づけ]]、operant conditioning）、また[[遅延反応課題]]（delayed response task）をはじめとする選択課題の実験に端的に表れる。報酬予測にかかわる神経活動を調べる際に用いられるのも、多くの場合これらの実験パラダイムである。以下では、パブロフ型条件づけ、道具的条件づけ、そして[[遅延反応課題]]の実験にみられる報酬予測に関連した反応と行動選択について説明する。


===パブロフ型条件づけにみられる反応===
　動物が実際に報酬を期待していることを示唆する反応と行動は、[[パブロフ型条件づけ]]（pavlovian conditioning、または古典的条件づけ、classical conditioning）や[[道具的条件づけ]]（instrumental conditioning、またはオペラント条件づけ、operant conditioning）の実験にみられる。近年の研究動向は、報酬予測の神経基盤へと拡がっているが、多くの場合そこで用いられるのもパブロフ型条件づけ・道具的条件づけの実験パラダイムである。以下では、パブロフ型条件づけと道具的条件づけの行動実験にみられる報酬予測に関連する反応と行動を挙げる。
　パブロフ型条件づけの実験では、動物が報酬を予測していることを支持する受動的な反応がみられる。パブロフ型条件づけでは、動物は本来意味を持たない外界の情報（刺激）と報酬の連合を学習する。たとえば、有名な「パブロフの犬」の実験では、イヌがベルの音を聞いた直後に餌が与えられることを何度も経験するうちに、ベルの音を聞くだけでヨダレをだすようになる。これは、イヌがベルの音と餌の連合を学習したものと解釈できる。ここでは餌が報酬であり、無条件に（学習を必要とせず）ヨダレという反応を引き起こすことから、[[無条件刺激]]（unconditioned stimulus：US）と呼ばれる。また、ベルの音は学習の結果ヨダレの反応を引き起こすことから、[[条件刺激]]（conditioned stimulus：CS）と呼ばれる。動物が本来意味を持たないCSに対してUSによって引き起こされる反応を獲得することは、動物がCSをもとに報酬が得られることを予測するようになったためと考えられる。


　さらに、パブロフ型条件づけの実験では、動物が報酬を期待していることを示す自発的反応がみられる。たとえば、CSが報酬を予想することを学習した動物は、CSの呈示に際してCSや報酬の呈示場所へ近づく[[接近反応]]（approach response）をみせる<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、報酬としてジュースが与えられる課題では、動物が報酬を獲得する前に飲み口を予期的に舐める[[リッキング行動]]がみられる<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、''新曜社'': 2014</ref>。これらの報酬獲得のための準備行動も、動物がCSにもとづき報酬を予測していることを支持している。
===パブロフ型条件づけと報酬予測にもとづく反応と行動===
　パブロフ型条件づけの実験パラダイムでは、動物の報酬予測にもとづく反応や行動がみられる。動物は、パブロフ型条件づけで本来意味を持たない外界の情報（刺激）と報酬の連合を学習する。たとえば、有名な「パブロフの犬」の実験では、イヌがベルの音を聞いた直後に餌が与えられりことを何度も経験するうちに、ベルの音を聞くだけでヨダレをだすようになる。これは、犬がベルの音と餌の獲得の連合を学習したものと解釈できる。ここでは餌が報酬であり、無条件（学習を必要とせず）にヨダレという反応を引き起こすことから、無条件刺激（unconditioned stimulus, US)と呼ばれる。また、ベルの音は学習の結果ヨダレの反応を引き起こすことから、条件刺激（conditioned stimulus, CS)と呼ばれる。動物が本来意味を持たないCSに対してUSによって引き起こされる反応を獲得することは、動物がCSをもとに報酬が得られることを予測しているためと考えられる。


　パブロフ型条件づけをはじめとした実験にみられる報酬予測に関連した反応は、[[強化学習]]のモデルを用いて説明することができる。ここでは、パブロフ型条件づけにおける動物の反応の数理モデルとして提唱された「[[レスコーラ・ワグナー・モデル]]（Rescorla–Wagner model）」の強化学習的解釈を紹介する<ref>'''Peter Dayan,‎ L. F. Abbott'''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems <br>''The MIT Press'': 2001</ref> <ref>'''Peter Dayan,‎ Hiroyuki Nakahara'''<br>Models and Methods for Reinforcement Learning, The Stevens’ Handbook of Experimental Psychology<br>''Wiley'': 2017</ref>。
　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す行動もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ接近行動(approach behavior)をみせることが知られている。また、報酬としてジュースが与えられる課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる<ref><pubmed> 20739566 </pubmed></ref>。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを示している。


　レスコーラ・ワグナー・モデルでは、実際に得られた報酬量と予測された報酬量の差分である「[[報酬予測誤差]]（reward prediction error）」が学習信号となり、今までの予期報酬が新たな予期報酬へ更新される：
　動物はどのように報酬を予測できるようになるのだろうか？ ここでは、一般に[[強化学習]]と呼ばれる学習則を紹介する。強化学習は、パブロフ型条件づけをはじめとする条件づけ課題で実際にみられる動物の行動をよく説明することが知られている。


&nbsp;&nbsp;&nbsp;<i>新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差</i>
　強化学習では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差(reward prediction error)」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：


上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）増加し、負であれば（報酬が予想していたより少なければ）減少する。
&nbsp;&nbsp;&nbsp;<big>新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差</big>


　レスコーラ・ラワグナー・モデルは、パブロフ型条件づけの実験でみられる動物の反応をよく説明する。たとえば、光が点灯すると餌がもらえることを学習した[[ラット]]に対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「[[阻止効果]]（blocking effect）」と呼ばれており<ref name=bouton />、レスコーラ・ラワグナー・モデルでは、先に学習された光が報酬の獲得を予測するため、音に予測される報酬の報酬予測誤差がゼロとなるからと解釈できる。
上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方修正され、負であれば（報酬が予想していたより少なければ）下方修正される。このような学習は、心理学の分野で[[レスコーラ-ワグナーの学習則]]と呼ばれている。


===道具的条件づけにみられる自発的行動===
　報酬予測誤差にもとづく学習では、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習は起こらない。これらのことは、実際のパブロフ型条件づけの様々な行動実験で確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果(blocking effect)」と呼ばれており<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>、強化学習の枠組みでは音と餌の連合学習が起こらないのことは、先に学習された光が餌を完全に予測するため、音に対する報酬予測誤差がゼロとなるためと解釈できる。
　道具的条件づけの実験では、動物が報酬を予測していることを支持する自発的な行動がみられる。道具的条件づけの実験パラダイムでは、特定の環境や刺激に対して動物がとる行動次第で報酬が得られるかどうかが決まる。このような実験課題で、動物はより大きな報酬をもたらす行動の頻度を増加させる。たとえば、[[wj:エドワード・ソーンダイク|ソーンダイク]]が行った実験では、パズルボックスの中に閉じ込められた[[ネコ]]が試行錯誤を繰り返すうちに、ボックスの内側に設置された紐を引き、外に出て餌を獲得することを学習する。報酬をもたらす行動の頻度が増加することは、動物が特定の行動の結果として報酬が得られることを学習したためと考えられる。


===遅延反応課題にみられる行動選択と反応===
===道具的条件づけと報酬予測にもとづく行動選択===
[[ファイル:報酬予測０.png|thumb|400px|'''図1．遅延反応課題のイメージ<ref name=watanabe1996 />''']]
　動物は、報酬予測にもとづき適応的に行動を選択する。このような行動を調べるための実験パラダイムとして、道具的条件づけがある。受動的な課題であるパブロフ型条件づけの実験パラダイムは、自らの反応や行動と実際に報酬が得られるかどうかにかかわりがないため、動物の積極的な行動選択を調べることはできない。これに対して、道具的条件づけの実験パラダイムでは、特定の刺激に対して選択される行動次第で得られる報酬に違いが生まれる。このような課題を行う際、動物は特的の行動の結果得られる報酬を予測し、より多くのより好ましい報酬を得るために適応的な行動選択をみせる。なお、道具的条件づけを大別すると、動物がいつ・どのような行動を取るかに制限のない（free responding）課題と、あらかじめ試行ごとに取り得る行動の選択肢が決まっている課題があるが、ここでは主に後者に関連して報酬予測と行動選択の関係を概観する。


　報酬予測に関連した行動選択を調べるためによく用いられる課題に、遅延選択課題がある（図1）。たとえば、[[サル]]が学習する典型的な遅延選択課題では、まず左右どちらかの[[手がかり刺激]]（cue stimulus）が点灯する。手がかり刺激が消えたあとGO刺激（GO stimulus）が点灯すると、サルには左右どちらかのボタンを押すことが求められる。このとき、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースが与えられるが、逆側を押した場合には報酬が与えられない。
　道具的条件づけの課題のなかでも、報酬予測に関する行動を調べるためによく用いられる課題に、遅延選択課題（Delayed response task）がある。例えば、サルに対して行われる典型的な遅延選択課題では、サルが各試行で左右どちらかのボタンを押すことが求められる。このとき、ボタン押しに先んじて視野の左右どちらかに手がかり刺激が呈示される。サルは手がかり刺激が消えてから数秒後にボタンを押すよう訓練され、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースを得るが、逆側を押した場合には報酬が得られない。


　サルはこのような課題を繰り返すうちに、手がかり刺激に応じて左右のボタンを押し、報酬を得ることを学習する。さらに、サルの好物であるバナナを報酬として遅延選択課題を行った場合、報酬をレタスに変更すると、サルは驚きと怒りをみせる<ref>'''O L Tinklepaugh'''<br>An experimental study of representative factors in monkeys.<br>''J. Comp. Psychol.'': 1928, (8);197-236</ref>。また、同様の実験パラダイムでサルが二種類の手がかり刺激がそれぞれ異なる種類のジュースを予測していることを学習した場合、サルは嗜好性の高い報酬が得られる試行において、より短い反応時間かつより高い正当率で行動選択を行い、予期的なリッキング行動をより長い時間続ける<ref name=hassani2001><pubmed> 11387394 </pubmed></ref>。これらのことは、サルが特定の行動を選択した結果得られる報酬を予測していることを示している<ref name=watanabe1996><pubmed> 8757133 </pubmed></ref>。
　サルは、このような課題で手がかり刺激が呈示された側のボタンを押して報酬を得ることを学習する。これは、より多くの報酬をもたらす行動の頻度が増加するという、ソーンダイク（E. Thorndike)によって「効果の法則（Law of effect）」と名づけられた現象<ref name=bouton />の一例である。動物がより多くの報酬をもたらす行動を学習することは、行動の結果得られる報酬を予測していることを支持している。
 
　さらに、遅延選択課題でサルの好物であるバナナを報酬として条件付けを行った場合、報酬が突然レタスに変更されると、サルは驚きと怒りを見せる<ref>'''O L Tinklepaugh'''<br>An experimental study of representative factors in monkeys.<br>''J. Comp. Psychol.'': 1928, (8);197-236</ref>。これは、サルが学習の結果報酬としてバナナを期待するようになったことを支持している<ref><pubmed> 8757133 </pubmed></ref>。また、同様の実験パラダイムで、二種類の手がかり刺激がそれぞれ異なる報酬（異なる種類のジュース）と対応していることを学習したサルでは、嗜好性の高い報酬が得られる試行において、サルがより長い時間予期的なリッキング行動を続け、より短い反応時間とより高い正当率で回答することが報告されている<ref><pubmed> 11387394 </pubmed></ref>。これらのこともまた、サルが学習の結果報酬を予測していることを支持している。


==報酬予測にかかわる神経活動==
==報酬予測にかかわる神経活動==
[[ファイル:報酬予測1.png|thumb|400px|'''図2．遅延反応課題でみられる報酬予測にかかわる神経活動のイメージ'''<ref name=schultz2015 /><br />
　ここでは、報酬予測にかかわる神経活動として、まず一般的に[[報酬系]]と呼ばれる脳領域群をはじめとする多様な脳領域で見られる動物の報酬への期待を反映した神経活動の特性を説明し、関連領域を簡単に列挙する。そして、予期報酬を更新するための学習信号とみられるドーパミンニューロンの神経活動について述べる。
'''A.''' 報酬を予測する刺激の価値を反映したニューロンの活動。<br />
'''B.''' 報酬をもたらす行動の価値を反映したニューロンの活動。<br />
'''C.''' 報酬への期待を反映したニューロンの活動。黄色と青色は、同じニューロンがそれぞれ嗜好性の高い報酬と低い報酬が予測される試行でみせる活動。]]
 
　報酬予測にかかわる神経活動は、一般に[[報酬系]]と呼ばれる脳領域群をはじめとして、多様な脳領域でみられる<ref name=tsutsui /> <ref name=schultz2015 /> <ref name=schultz2006><pubmed> 16318590 </pubmed></ref> <ref name=hikosaka2006 /> <ref><pubmed> 19812543 </pubmed></ref> <ref><pubmed>18545266 </pubmed></ref> <ref><pubmed> 21689594 </pubmed></ref>。ここでは、報酬予測にかかわる神経活動を、報酬を予測する刺激の価値を反映した神経活動（図2A）、報酬をもたらす行動の価値を反映した神経活動（図2B）、動物の報酬への期待を反映した神経活動（図2C）に分類し<ref name=tsutsui /> <ref name=schultz2015 />、これらの神経活動がみられる領域を紹介する。そして最後に、報酬予測にかかわる神経活動を調整する学習信号と考えられている[[ドーパミン]]ニューロン（dopaminergic neuron）の活動を紹介する。
 
===刺激や行動の価値の神経活動===
　動物の脳では、刺激や行動の「価値（value）」を反映するような神経活動が報告されている<ref name=tsutsui /> <ref name=schultz2015><pubmed> 26109341 </pubmed></ref> <ref name=schultz2006 /> <ref name=hikosaka2006 /> <ref><pubmed> 27687119 </pubmed></ref>。


　パブロフ型条件づけでは、本来意味を持たない刺激が、報酬との連合が学習されることで、未来の報酬を予測する価値の高い情報となる。このような学習によって増加した刺激の価値を反映するように、報酬を予測する刺激が呈示された直後に予想される報酬の好ましさに応じて活動を増大させるニューロンがみつかっている（図2A）。
===報酬予期の神経活動===
　これまでの多くの実験から、あたかも動物の報酬への期待を反映しているような神経活動が報告されている<ref>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。このような報酬予期にかかわる神経活動は、報酬を予測する情報（パブロフ型条件づけのCS・遅延反応課題の手がかり刺激など）が呈示された後、実際に報酬を獲得する間に増大し、さらに予測された報酬の量や好ましさを反映するという特徴を持つ<ref name=Schultz2006><pubmed> 16318590 </pubmed></ref>。


　刺激の価値を反映した神経活動は、[[眼窩前頭皮質]]<ref><pubmed> 8734596 </pubmed></ref> <ref name=Tremblay1999><pubmed> 10227292 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>、[[線条体]]<ref name=hassani2001 /> <ref name=kawagoe1998><pubmed> 10196532 </pubmed></ref> <ref><pubmed> 6589643 </pubmed></ref> <ref name=cromwell2003><pubmed> 12611937 </pubmed></ref>、[[扁桃体]]<ref><pubmed> 3193171 </pubmed></ref> <ref><pubmed> 16482160 </pubmed></ref>、[[黒質緻密部]]<ref><pubmed> 3794777</pubmed></ref>、[[上丘]]<ref name=ikeda2003 />などで報告されている。
　また、報酬予期にかかわる神経活動は、実験条件に応じて知覚→認知→運動(行動)の各段階に応じた修飾を受けることが多い。たとえば、パブロフ型条件づけのように動物が特定の刺激から報酬を予測する場合、刺激の特性を反映した反応が見られることがある。顕著な例として、刺激が視覚空間上のどこに呈示されるかに依存して、予期された報酬量に対応した活動を見せる神経細胞の報告がある<ref name=kawagoe1998><pubmed> 10196532</pubmed></ref><ref name=hikosaka2006><pubmed> 16424448</pubmed></ref>。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある<ref name=rosech2003><pubmed> 12801905 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。


　また、道具的条件づけでは、本来意味を持たない行動が、報酬との連合が学習されることで、報酬をもたらす価値の高い行動となる。このような学習にともなう行動の価値の増加を反映するように、報酬をもたらす行動が遂行される前後で予想される報酬の好ましさに応じて活動を増大させるニューロンがみつかっている（図2B）。
===報酬予期にかかわる脳領域===
報酬予期にかかわる神経活動が見られる脳領野を概観する。大脳皮質下の領域では、大脳基底核回路(線条体，側坐核，黒質網様部，淡蒼球など)<ref name=hollerman1998><pubmed> 9705481 </pubmed></ref><ref name=hikosaka2006 /><ref name=kawagoe1998 /><ref name=cromwell2003><pubmed> 12611937 </pubmed></ref> <ref name=cromwell2003><pubmed> 12140557 </pubmed></ref>


　行動の価値を反映した神経活動は、線条体<ref name=hassani2001 /> <ref name=cromwell2003 /> <ref><pubmed>
16311337  </pubmed></ref> <ref name name=lauwereyns2002><pubmed> 12140557 </pubmed></ref> <ref><pubmed>
14602819 </pubmed></ref> <ref><pubmed> 18466754 </pubmed></ref>、[[後頭頂皮質]]<ref><pubmed> 15205529 </pubmed></ref>などで報告されている。


　また、刺激や行動の価値を反映した神経活動には、予測される報酬の量や好ましさの情報とともに、報酬を予測する刺激の知覚情報、あるいは報酬を獲得するための行動に関連した情報が符号化されている場合が多い<ref name=schultz2015 /> <ref name=hikosaka2006 />。たとえば、サルが遅延反応課題を行う際の神経活動を線条体で計測した実験では、手がかり刺激が視野の対側に呈示される試行で活動を高めるニューロンがみつかっている<ref name=kawagoe1998 /> <ref name=lauwereyns2002 />。このような予測された報酬の情報および報酬獲得のための行動関連情報を含む神経信号は、報酬獲得のために適切な行動を遂行することを可能にしているものと考えられる<ref name=hikosaka2006 />。
(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001; Hassani et al., 2001;  Ito & Doya, 2009; Lau & Glimcher, 2008; Lauwereyns, Watanabe, Coe, & Hikosaka, 2002; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002; Samejima, Ueda, Doya, & Kimura, 2005)、そして中脳ドーパミン領域(黒質轍密部，腹側被蓋野を含む)(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; Paton, Belova, Morrison, & Salzman, 2006)、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘(ref)と脚橋被蓋核(Okada, Toyama, Inoue, Isa, & Kobayashi, 2009)、およびセロトニンニューロンを含む背側縫線核[[[HN Nakamura Kae, Zach Mainen papers;matumoto hikosakaは変だろう]]](Matsumoto & Hikosaka, 2007)などで報酬予測に関連した脳活動が見られる。


===報酬期待の神経活動===
また、大脳皮質領域では、前頭葉の中でも特に腹内側前頭前皮質や眼窩前頭前皮質(Gottfried et al., 2003; Padoa-Schioppa & Assad, 2006, 2008; Roesch & Olson, 2004; Rolls, Critchley, Mason, & Wakeman, 1996; Tremblay & Schultz, 1999; Watanabe, 1996)、頭頂葉（特に前頭連合野と頭頂連合野）(Platt & Glimcher, 1999; Sugrue, Corrado, & Newsome, 2004)、島皮質（Rolls et al., 2008）などで報酬予期に関連した活動が報告されている。
　これまでの多くの実験から、動物の報酬への期待を反映するような神経活動が報告されている<ref name=tsutsui /> <ref name=schultz2015 /> <ref name=schultz2006 /> <ref name=hikosaka2006><pubmed> 16424448  </pubmed></ref> <ref><pubmed> 21185861 </pubmed></ref>。報酬期待の神経活動は、報酬を予測する刺激が呈示された後、報酬が獲得されるまでの間に持続的に増大し、さらに活動の増大幅は予測された報酬の量や好ましさを反映するという特徴を持つ（図2C）。


　報酬期待の神経活動がみられる脳領野は多岐にわたっている。[[大脳皮質]]下の領域では、線条体<ref name=kawagoe1998 /> <ref><pubmed> 1464759 </pubmed></ref> <ref><pubmed> 2723722 </pubmed></ref>、[[淡蒼球]]<ref><pubmed> 23177966 </pubmed></ref>、扁桃体<ref name=schoenbaum1998><pubmed> 10195132 </pubmed></ref>、上丘<ref name=ikeda2003><pubmed> 12925282 </pubmed></ref>、[[脚橋被蓋核]]<ref><pubmed> 19369554 </pubmed></ref>などで報酬期待の神経活動がみられる。また、大脳皮質では、[[背外側前頭前皮質]]<ref name=watanabe1996 /> <ref><pubmed> 10571234 </pubmed></ref> <ref name=rosech2003><pubmed> 12801905 </pubmed></ref>、眼窩前頭皮質<ref name=Tremblay1999 /> <ref name=schoenbaum1998 />、後頭頂皮質<ref><pubmed> 10421364 </pubmed></ref>、[[前帯状皮質]]<ref><pubmed> 12040201 </pubmed></ref>、[[島皮質]]<ref><pubmed> 22402653
</pubmed></ref>、[[運動前野]]<ref name=rosech2004 /> <ref name=rosech2003 />などで報酬期待の神経活動が報告されている。


===ドーパミンニューロンの活動と報酬予測誤差===
　ドーパミンニューロンの[[phasic活動]]は、強化学習で一般に報酬予測誤差と呼ばれる学習信号を符号化していると考えられており、これは「[[ドーパミン報酬予測誤差仮説]]（the dopamine reward prediction error hypothesis）」と呼ばれている<ref name=schultz1997><pubmed> 9054347 </pubmed></ref> <ref><pubmed> 21389268 </pubmed></ref> <ref>'''Nathaniel D. Daw,‎ Philippe N. Tobler'''<br>Value Learning through Reinforcement: The Basics of Dopamine and Reinforcement Learning <br>In ''Neuroeconomics 2nd Edition'', Edited by Paul W Glimcher & Ernst Fehr, ''Academic Press'': 2014</ref>。ドーパミン報酬予測誤差仮説を支持する研究結果として、たとえば、サルのドーパミンニューロンの反応が学習に伴い変化することが知られている<ref name=schultz1997 /> <ref><pubmed> 7983508</pubmed></ref>。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動が低下する。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している<ref name=schultz2006 />。さらに、阻止効果に関する実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが確認されおり<ref><pubmed> 11452299 </pubmed></ref> <ref><pubmed> 14741107 </pubmed></ref>、また[[オプトジェネティクス]]を用いてドーパミンニューロンの活動を人為的に操作すると報酬予測に関連した学習が阻害されることも報告されている<ref><pubmed> 28390863 </pubmed></ref> 。
　報酬予測誤差を反映したドーパミンニューロンの活動は、[[神経可塑性]]を介して脳における価値表現を調節すると考えられている。ドーパミンニューロンは、前述の刺激や行動の価値を反映した神経活動が報告されている脳領域の多くに投射しており<ref name=schultz2006 /> <ref name=hikosaka2006 />、投射先のニューロンのシナプス強度はドーパミンニューロンが活動することで放出されるドーパミンによって調節される<ref><pubmed> 11544526 </pubmed></ref> <ref><pubmed> 25258080</pubmed></ref>。
　近年では、ドーパミンニューロンの他にも、線条体<ref name=oyama2010><pubmed> 20739566 </pubmed></ref>や[[内側前頭前皮質]]<ref><pubmed> 17450137 </pubmed></ref>で報酬予測誤差を反映した活動をみせるニューロンが見つかっている。さらに、[[外側手綱核]]ではドーパミンニューロンとは逆に罰の予測に関連して負の報酬予測誤差を反映するニューロンの活動が報告されている<ref><pubmed> 17522629 </pubmed></ref>。これらの神経活動もなんらかの形で報酬予測に関連する神経活動の調整にかかわっているものと考えられるが、その詳細はまだわかっていない<ref name=tsutsui/>。また、報酬予測誤差そのものが脳でどのように計算されているのかという問題も今後の重要な研究課題の一つといえるだろう<ref name=tsutsui /> <ref name=cohen2012><pubmed> 22258508 </pubmed></ref> <ref name=nakamura2012><pubmed> 23136434 </pubmed></ref> <ref><pubmed> 23069349 </pubmed></ref> <ref><pubmed> 24463329 </pubmed></ref>。
== 関連項目 ==
*[[パブロフ型条件づけ]]
*[[道具的条件づけ]]
*[[強化学習]]
*[[報酬系]]
*[[ドーパミン]]
*[[報酬予測誤差]]


== 参考文献 ==
== 参考文献 ==
<references/>
<references/>
（執筆者：望月泰博、福田玄明、陳冲、中原裕之、担当編集委員：？？）

2018年1月24日 (水) 18:06時点における版

英：Reward prediction

　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。食料・水などに代表される報酬は、正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るため報酬を予測し、それにもとづく反応や行動を見せる。報酬予測は、私たちが常日頃行っているさまざまな意思決定を駆動しており、さらに、脳における学習メカニズムとも深い関わりをもつことが提案されている。ここでは、報酬予測にもとづく反応と行動、また報酬予測にもとづく適応的な行動選択、そしてこれらに関係した神経活動について述べる。

行動実験にみる報酬予測

　報酬の代表である食料・水・配偶者の存在は、動物の生存と生殖に不可欠であり、未来の報酬を予測し、それに合わせて反応・行動することは、種の存続に有利に働く。動物は、特定の情報から報酬の獲得が予測できる状況で、報酬を期待し、それにともなう様々な反応と行動をみせる。

　動物が実際に報酬を期待していることを示唆する反応と行動は、パブロフ型条件づけ（pavlovian conditioning、または古典的条件づけ、classical conditioning）や道具的条件づけ（instrumental conditioning、またはオペラント条件づけ、operant conditioning）の実験にみられる。近年の研究動向は、報酬予測の神経基盤へと拡がっているが、多くの場合そこで用いられるのもパブロフ型条件づけ・道具的条件づけの実験パラダイムである。以下では、パブロフ型条件づけと道具的条件づけの行動実験にみられる報酬予測に関連する反応と行動を挙げる。

パブロフ型条件づけと報酬予測にもとづく反応と行動

　パブロフ型条件づけの実験パラダイムでは、動物の報酬予測にもとづく反応や行動がみられる。動物は、パブロフ型条件づけで本来意味を持たない外界の情報（刺激）と報酬の連合を学習する。たとえば、有名な「パブロフの犬」の実験では、イヌがベルの音を聞いた直後に餌が与えられりことを何度も経験するうちに、ベルの音を聞くだけでヨダレをだすようになる。これは、犬がベルの音と餌の獲得の連合を学習したものと解釈できる。ここでは餌が報酬であり、無条件（学習を必要とせず）にヨダレという反応を引き起こすことから、無条件刺激（unconditioned stimulus, US)と呼ばれる。また、ベルの音は学習の結果ヨダレの反応を引き起こすことから、条件刺激（conditioned stimulus, CS)と呼ばれる。動物が本来意味を持たないCSに対してUSによって引き起こされる反応を獲得することは、動物がCSをもとに報酬が得られることを予測しているためと考えられる。

　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す行動もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ接近行動(approach behavior)をみせることが知られている。また、報酬としてジュースが与えられる課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる[1]。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを示している。

　動物はどのように報酬を予測できるようになるのだろうか？ ここでは、一般に強化学習と呼ばれる学習則を紹介する。強化学習は、パブロフ型条件づけをはじめとする条件づけ課題で実際にみられる動物の行動をよく説明することが知られている。

　強化学習では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差(reward prediction error)」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：

   新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差

上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方修正され、負であれば（報酬が予想していたより少なければ）下方修正される。このような学習は、心理学の分野でレスコーラ-ワグナーの学習則と呼ばれている。

　報酬予測誤差にもとづく学習では、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習は起こらない。これらのことは、実際のパブロフ型条件づけの様々な行動実験で確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果(blocking effect)」と呼ばれており[2]、強化学習の枠組みでは音と餌の連合学習が起こらないのことは、先に学習された光が餌を完全に予測するため、音に対する報酬予測誤差がゼロとなるためと解釈できる。

道具的条件づけと報酬予測にもとづく行動選択

　動物は、報酬予測にもとづき適応的に行動を選択する。このような行動を調べるための実験パラダイムとして、道具的条件づけがある。受動的な課題であるパブロフ型条件づけの実験パラダイムは、自らの反応や行動と実際に報酬が得られるかどうかにかかわりがないため、動物の積極的な行動選択を調べることはできない。これに対して、道具的条件づけの実験パラダイムでは、特定の刺激に対して選択される行動次第で得られる報酬に違いが生まれる。このような課題を行う際、動物は特的の行動の結果得られる報酬を予測し、より多くのより好ましい報酬を得るために適応的な行動選択をみせる。なお、道具的条件づけを大別すると、動物がいつ・どのような行動を取るかに制限のない（free responding）課題と、あらかじめ試行ごとに取り得る行動の選択肢が決まっている課題があるが、ここでは主に後者に関連して報酬予測と行動選択の関係を概観する。

　道具的条件づけの課題のなかでも、報酬予測に関する行動を調べるためによく用いられる課題に、遅延選択課題（Delayed response task）がある。例えば、サルに対して行われる典型的な遅延選択課題では、サルが各試行で左右どちらかのボタンを押すことが求められる。このとき、ボタン押しに先んじて視野の左右どちらかに手がかり刺激が呈示される。サルは手がかり刺激が消えてから数秒後にボタンを押すよう訓練され、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースを得るが、逆側を押した場合には報酬が得られない。

　サルは、このような課題で手がかり刺激が呈示された側のボタンを押して報酬を得ることを学習する。これは、より多くの報酬をもたらす行動の頻度が増加するという、ソーンダイク（E. Thorndike)によって「効果の法則（Law of effect）」と名づけられた現象[2]の一例である。動物がより多くの報酬をもたらす行動を学習することは、行動の結果得られる報酬を予測していることを支持している。

　さらに、遅延選択課題でサルの好物であるバナナを報酬として条件付けを行った場合、報酬が突然レタスに変更されると、サルは驚きと怒りを見せる[3]。これは、サルが学習の結果報酬としてバナナを期待するようになったことを支持している[4]。また、同様の実験パラダイムで、二種類の手がかり刺激がそれぞれ異なる報酬（異なる種類のジュース）と対応していることを学習したサルでは、嗜好性の高い報酬が得られる試行において、サルがより長い時間予期的なリッキング行動を続け、より短い反応時間とより高い正当率で回答することが報告されている[5]。これらのこともまた、サルが学習の結果報酬を予測していることを支持している。

報酬予測にかかわる神経活動

　ここでは、報酬予測にかかわる神経活動として、まず一般的に報酬系と呼ばれる脳領域群をはじめとする多様な脳領域で見られる動物の報酬への期待を反映した神経活動の特性を説明し、関連領域を簡単に列挙する。そして、予期報酬を更新するための学習信号とみられるドーパミンニューロンの神経活動について述べる。

報酬予期の神経活動

　これまでの多くの実験から、あたかも動物の報酬への期待を反映しているような神経活動が報告されている[6]。このような報酬予期にかかわる神経活動は、報酬を予測する情報（パブロフ型条件づけのCS・遅延反応課題の手がかり刺激など）が呈示された後、実際に報酬を獲得する間に増大し、さらに予測された報酬の量や好ましさを反映するという特徴を持つ[7]。

　また、報酬予期にかかわる神経活動は、実験条件に応じて知覚→認知→運動(行動)の各段階に応じた修飾を受けることが多い。たとえば、パブロフ型条件づけのように動物が特定の刺激から報酬を予測する場合、刺激の特性を反映した反応が見られることがある。顕著な例として、刺激が視覚空間上のどこに呈示されるかに依存して、予期された報酬量に対応した活動を見せる神経細胞の報告がある[8][9]。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある[10] [11]。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。

報酬予期にかかわる脳領域

報酬予期にかかわる神経活動が見られる脳領野を概観する。大脳皮質下の領域では、大脳基底核回路(線条体，側坐核，黒質網様部，淡蒼球など)[12][9][8][13] [13]


(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001; Hassani et al., 2001; Ito & Doya, 2009; Lau & Glimcher, 2008; Lauwereyns, Watanabe, Coe, & Hikosaka, 2002; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002; Samejima, Ueda, Doya, & Kimura, 2005)、そして中脳ドーパミン領域(黒質轍密部，腹側被蓋野を含む)(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; Paton, Belova, Morrison, & Salzman, 2006)、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘(ref)と脚橋被蓋核(Okada, Toyama, Inoue, Isa, & Kobayashi, 2009)、およびセロトニンニューロンを含む背側縫線核[[[HN Nakamura Kae, Zach Mainen papers;matumoto hikosakaは変だろう]]](Matsumoto & Hikosaka, 2007)などで報酬予測に関連した脳活動が見られる。

また、大脳皮質領域では、前頭葉の中でも特に腹内側前頭前皮質や眼窩前頭前皮質(Gottfried et al., 2003; Padoa-Schioppa & Assad, 2006, 2008; Roesch & Olson, 2004; Rolls, Critchley, Mason, & Wakeman, 1996; Tremblay & Schultz, 1999; Watanabe, 1996)、頭頂葉（特に前頭連合野と頭頂連合野）(Platt & Glimcher, 1999; Sugrue, Corrado, & Newsome, 2004)、島皮質（Rolls et al., 2008）などで報酬予期に関連した活動が報告されている。


参考文献

  1. ↑ Oyama, K., Hernádi, I., Iijima, T., & Tsutsui, K. (2010).
    Reward prediction error coding in dorsal striatal neurons. The Journal of neuroscience : the official journal of the Society for Neuroscience, 30(34), 11447-57. [PubMed:20739566] [PMC] [WorldCat] [DOI]
  2. ↑ 2.0 2.1 Mark E Bouton
    Learning and behavior: A contemporary synthesis Second Edition
    Sinauer Associates: 2007
  3. ↑ O L Tinklepaugh
    An experimental study of representative factors in monkeys.
    J. Comp. Psychol.: 1928, (8);197-236
  4. ↑ Watanabe, M. (1996).
    Reward expectancy in primate prefrontal neurons. Nature, 382(6592), 629-32. [PubMed:8757133] [WorldCat] [DOI]
  5. ↑ Hassani, O.K., Cromwell, H.C., & Schultz, W. (2001).
    Influence of expectation of different rewards on behavior-related neuronal activity in the striatum. Journal of neurophysiology, 85(6), 2477-89. [PubMed:11387394] [WorldCat] [DOI]
  6. ↑ 筒井健一郎、大山佳
    報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳
    苧坂直行編、新曜社（東京）:2014
  7. ↑ Schultz, W. (2006).
    Behavioral theories and the neurophysiology of reward. Annual review of psychology, 57, 87-115. [PubMed:16318590] [WorldCat] [DOI]
  8. ↑ 8.0 8.1 Kawagoe, R., Takikawa, Y., & Hikosaka, O. (1998).
    Expectation of reward modulates cognitive signals in the basal ganglia. Nature neuroscience, 1(5), 411-6. [PubMed:10196532] [WorldCat] [DOI]
  9. ↑ 9.0 9.1 Hikosaka, O., Nakamura, K., & Nakahara, H. (2006).
    Basal ganglia orient eyes to reward. Journal of neurophysiology, 95(2), 567-84. [PubMed:16424448] [WorldCat] [DOI]
  10. ↑ Roesch, M.R., & Olson, C.R. (2003).
    Impact of expected reward on neuronal activity in prefrontal cortex, frontal and supplementary eye fields and premotor cortex. Journal of neurophysiology, 90(3), 1766-89. [PubMed:12801905] [WorldCat] [DOI]
  11. ↑ Roesch, M.R., & Olson, C.R. (2004).
    Neuronal activity related to reward value and motivation in primate frontal cortex. Science (New York, N.Y.), 304(5668), 307-10. [PubMed:15073380] [WorldCat] [DOI]
  12. ↑ Hollerman, J.R., Tremblay, L., & Schultz, W. (1998).
    Influence of reward expectation on behavior-related neuronal activity in primate striatum. Journal of neurophysiology, 80(2), 947-63. [PubMed:9705481] [WorldCat] [DOI]
  13. ↑ 13.0 13.1 Cromwell, H.C., & Schultz, W. (2003).
    Effects of expectations for different reward magnitudes on neuronal activity in primate striatum. Journal of neurophysiology, 89(5), 2823-38. [PubMed:12611937] [WorldCat] [DOI]     引用エラー: 無効な <ref> タグ; name "cromwell2003"が異なる内容で複数回定義されています

（執筆者：望月泰博、福田玄明、陳冲、中原裕之、担当編集委員：？？）

「https://bsd.neuroinf.jp/w/index.php?title=報酬予測&oldid=37929」から取得