報酬予測のソースを表示

英：Reward prediction

{{box|text=　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。食料・水などに代表される報酬は、正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るため報酬を予測し、それにもとづく反応や行動を見せる。報酬予測は私たちが常日頃行うさまざまな意思決定を駆動しており、さらに、脳における学習メカニズムとも関わりが深い。ここでは、報酬予測にもとづく反応と行動、また報酬予測にもとづく適応的な行動選択、そしてこれらにかかわる神経活動について述べる。}}

==行動実験にみる報酬予測==
　報酬の代表である食料・水・配偶者の存在は、動物の生存と生殖に不可欠であり、未来の報酬を予測し、それに合わせて反応・行動することは、種の存続に有利に働く。動物は、特定の情報から報酬の獲得が予測できる状況で、報酬を期待し、それにともなう様々な反応と行動をみせる。

　動物が実際に報酬を期待していることを示唆する反応と行動は、[[パブロフ型条件づけ]]（pavlovian conditioning、または古典的条件づけ、classical conditioning）や[[道具的条件づけ]]（instrumental conditioning、またはオペラント条件づけ、operant conditioning）の実験にみられる。近年の研究動向は、報酬予測の神経基盤へと拡がっているが、多くの場合そこで用いられるのもパブロフ型条件づけ・道具的条件づけの実験パラダイムである。以下では、パブロフ型条件づけと道具的条件づけの行動実験にみられる報酬予測に関連する反応と行動を挙げる。

===パブロフ型条件づけと報酬予測にもとづく反応と行動===
　パブロフ型条件づけの実験パラダイムでは、動物の報酬予測にもとづく反応や行動がみられる。動物は、パブロフ型条件づけで本来意味を持たない外界の情報（刺激）と報酬の連合を学習する。たとえば、有名な「パブロフの犬」の実験では、イヌがベルの音を聞いた直後に餌が与えられりことを何度も経験するうちに、ベルの音を聞くだけでヨダレをだすようになる。これは、犬がベルの音と餌の獲得の連合を学習したものと解釈できる。ここでは餌が報酬であり、無条件（学習を必要とせず）にヨダレという反応を引き起こすことから、無条件刺激（unconditioned stimulus, US)と呼ばれる。また、ベルの音は学習の結果ヨダレの反応を引き起こすことから、条件刺激（conditioned stimulus, CS)と呼ばれる。動物が本来意味を持たないCSに対してUSによって引き起こされる反応を獲得することは、動物がCSをもとに報酬が得られることを予測しているためと考えられる。

　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す行動もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ接近行動（approach behavior）をみせることが知られている<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、報酬としてジュースが与えられる課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる<ref name=oyama2010><pubmed> 20739566 </pubmed></ref>。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを示している。

　動物はどのように報酬を予測できるようになるのだろうか？ ここでは、一般に[[強化学習]]と呼ばれる学習則を紹介する。強化学習は、パブロフ型条件づけをはじめとする条件づけ課題で実際にみられる動物の行動をよく説明することが知られている。

　強化学習では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差(reward prediction error)」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：

&nbsp;&nbsp;&nbsp;<big>新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差</big>

上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方修正され、負であれば（報酬が予想していたより少なければ）下方修正される。このような学習は、心理学の分野で[[レスコーラ-ワグナーの学習則]]と呼ばれている。

　報酬予測誤差にもとづく学習では、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習は起こらない。これらのことは、実際のパブロフ型条件づけの様々な行動実験で確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果（blocking effect）」と呼ばれており<ref name=bouton />、強化学習の枠組みでは音と餌の連合学習が起こらないのことは、先に学習された光が餌を完全に予測するため、音に対する報酬予測誤差がゼロとなるためと解釈できる。

===道具的条件づけと報酬予測にもとづく行動選択===
　動物は、報酬予測にもとづき適応的に行動を選択する。このような行動を調べるための実験パラダイムとして、道具的条件づけがある。受動的な課題であるパブロフ型条件づけの実験パラダイムは、自らの反応や行動と実際に報酬が得られるかどうかにかかわりがないため、動物の積極的な行動選択を調べることはできない。これに対して、道具的条件づけの実験パラダイムでは、特定の刺激に対して選択される行動次第で得られる報酬に違いが生まれる。このような課題を行う際、動物は特的の行動の結果得られる報酬を予測し、より多くのより好ましい報酬を得るために適応的な行動選択をみせる。なお、道具的条件づけを大別すると、動物がいつ・どのような行動を取るかに制限のない（free responding）課題と、あらかじめ試行ごとに取り得る行動の選択肢が決まっている課題があるが、ここでは主に後者に関連して報酬予測と行動選択の関係を概観する。

　道具的条件づけの課題のなかでも、報酬予測に関する行動を調べるためによく用いられる課題に、遅延選択課題（delayed response task）がある。例えば、サルに対して行われる典型的な遅延選択課題では、サルが各試行で左右どちらかのボタンを押すことが求められる。このとき、ボタン押しに先んじて視野の左右どちらかに手がかり刺激が呈示される。サルは手がかり刺激が消えてから数秒後にボタンを押すよう訓練され、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースを得るが、逆側を押した場合には報酬が得られない。

　サルは、このような課題で手がかり刺激が呈示された側のボタンを押して報酬を得ることを学習する。これは、より多くの報酬をもたらす行動の頻度が増加するという、ソーンダイク（E. Thorndike)によって「効果の法則（law of effect）」と名づけられた現象<ref name=bouton />の一例である。動物がより多くの報酬をもたらす行動を学習することは、行動の結果得られる報酬を予測していることを支持している。

　さらに、遅延選択課題でサルの好物であるバナナを報酬として条件付けを行った場合、報酬が突然レタスに変更されると、サルは驚きと怒りを見せる<ref>'''O L Tinklepaugh'''<br>An experimental study of representative factors in monkeys.<br>''J. Comp. Psychol.'': 1928, (8);197-236</ref>。これは、サルが学習の結果報酬としてバナナを期待するようになったことを支持している<ref name=watanabe1996><pubmed> 8757133 </pubmed></ref>。また、同様の実験パラダイムで、二種類の手がかり刺激がそれぞれ異なる報酬（異なる種類のジュース）と対応していることを学習したサルでは、嗜好性の高い報酬が得られる試行において、サルがより長い時間予期的なリッキング行動を続け、より短い反応時間とより高い正当率で回答することが報告されている<ref name=hassani2001><pubmed> 11387394 </pubmed></ref>。これらのこともまた、サルが学習の結果報酬を予測していることを支持している。

==報酬予測にかかわる神経活動==
　ここでは、報酬予測にかかわる神経活動として、まず一般的に[[報酬系]]と呼ばれる脳領域群をはじめとする多様な脳領域で見られる動物の報酬への期待を反映した神経活動の特性を説明し、関連領域を簡単に列挙する。そして、予期報酬を更新するための学習信号とみられるドーパミンニューロンの神経活動について述べる。

===報酬予期の神経活動===
　これまでの多くの実験から、あたかも動物の報酬への期待を反映しているような神経活動が報告されている<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。このような報酬予期にかかわる神経活動は、報酬を予測する情報（パブロフ型条件づけのCS・遅延反応課題の手がかり刺激など）が呈示された後、実際に報酬を獲得する間に増大し、さらに予測された報酬の量や好ましさを反映するという特徴を持つ<ref name=schultz2006><pubmed> 16318590 </pubmed></ref>。

　また、報酬予期にかかわる神経活動は、実験条件に応じて知覚→認知→運動(行動)の各段階に応じた修飾を受けることが多い。たとえば、パブロフ型条件づけのように動物が特定の刺激から報酬を予測する場合、刺激の特性を反映した反応が見られることがある。顕著な例として、刺激が視覚空間上のどこに呈示されるかに依存して、予期された報酬量に対応した活動を見せる神経細胞の報告がある<ref name=kawagoe1998><pubmed> 
 10196532 </pubmed></ref><ref name=hikosaka2006><pubmed> 16424448 </pubmed></ref>。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある<ref name=rosech2003><pubmed> 12801905 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。

　このような、報酬予期にかかわる神経活動がみられる脳領野は多岐にわたっている。大脳皮質下の領域では、線条体<ref><pubmed> 1464759 </pubmed></ref><ref name=hollerman1998><pubmed> 9705481 </pubmed></ref><ref name=hikosaka2006 /><ref name=kawagoe1998 /><ref name=cromwell2003><pubmed> 12611937 </pubmed></ref><ref><pubmed> 12140557 </pubmed></ref><ref name=hassani2001 /><ref><pubmed>
 16311337  </pubmed></ref><ref><pubmed> 18466754 </pubmed></ref><ref><pubmed> 8867118 </pubmed></ref><ref><pubmed> 2723722 </pubmed></ref><ref><pubmed> 9705482 </pubmed></ref>(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001;  Ito & Doya, 2009; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002;)、淡蒼球<ref><pubmed> 23177966 </pubmed></ref>、中脳ドーパミン領域（腹側被蓋野<ref><pubmed> 22258508 </pubmed></ref>・黒質緻密部<ref><pubmed> 11896175 </pubmed></ref>）(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体<ref><pubmed> 16482160 </pubmed></ref><ref><pubmed> 17880899 </pubmed></ref>(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; )、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘<ref><pubmed> 12925282 </pubmed></ref>と脚橋被蓋核<ref><pubmed> 19369554 </pubmed></ref>、およびセロトニンニューロンを含む背側縫線核<ref><pubmed> 18480289 </pubmed></ref><ref><pubmed> 19710375 </pubmed></ref>などで報酬予期にかかわる脳活動が見られる。

　また、大脳皮質領域では、前頭葉の中でも特に背外側前頭前皮質<ref name=watanabe1996 /><ref><pubmed> 3971157 </pubmed></ref><ref><pubmed> 10571234 </pubmed></ref> <ref name=rosech2003 />や眼窩前頭前皮質<ref><pubmed> 10227292 </pubmed></ref><ref><pubmed> 8734596 </pubmed></ref> <ref name=rosech2004 />(Gottfried et al., 2003; Padoa-Schioppa & Assad, 2006, 2008; )、後頭頂皮質<ref><pubmed> 10421364 </pubmed></ref><ref><pubmed> 15205529 </pubmed></ref>、前帯状回皮質<ref><pubmed> 12040201 </pubmed></ref>、島皮質<ref><pubmed> 16979828 </pubmed></ref><ref><pubmed> 22402653 
 </pubmed></ref>（Rolls et al., 2008）、運動前野<ref name=rosech2003 /><ref name=rosech2004 />などで報酬予期に関連した活動が報告されている。

　このように、報酬予期にかかわる神経活動は報酬系をはじめとする幅広い脳領域にみられる。それぞれの領域の活動のより詳細な脳領野間の機能分化の理解は重要な課題の一つだろう。たとえば、線条体では背側と腹側の機能分化<ref name=hikosaka2006 />、また前頭連合野では外側/内側・背側/腹側などの機能分化が提案されている(Domenech & Koechlin, 2015; Mansouri, Tanaka, & Buckley, 2009)。。

===ドーパミンニューロンの活動と報酬予測誤差===
　近年、ドーパミンニューロンの活動が、強化学習の学習信号である報酬予測誤差を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref><pubmed> 9054347 </pubmed></ref>が注目されている。報酬予測誤差にもとづく学習則が、動物の報酬予測に関連した行動の変化をよく説明することは既に述べた。ドーパミンニューロンの活動は、動物の報酬予測にもとづく学習の学習信号として働いている可能性がある。

　たとえば、パブロフ型条件づけのパラダイムを用いた実験では、動物の学習に伴ってドーパミンニューロンの反応が変化することが報告されている(Waelti et al, 2001; Day et al, 2007; D’ardenne et al., 2008)。ドーパミンニューロンは、学習の初期には報酬の提示直後に活動を増大させる。この反応は、学習が進むにつれ消失し、報酬を予測する刺激（CS）の呈示直後に増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動が低下する。これは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している。さらに、阻止効果の実験などでも、ドーパミンニューロンが強化学習の理論から予見される学習信号に対応するような活動の変化をみせることが報告されおり<ref><pubmed> 11452299 </pubmed></ref><ref><pubmed> 14741107 </pubmed></ref>、また近年では[[オプトジェネティクス]]やマイクロスティミュレーション（micro-stimulation）法を用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることが報告されている<ref><pubmed> 28390863 </pubmed></ref> 。これらのこともまたドーパミン報酬予測誤差仮説を支持している。

　ドーパミンニューロンは、前述の報酬予測に関連する活動が報告されている脳領野の多くに投射している<ref name=hikosaka2006 /><ref name=schultz2006 />。たとえば、線条体・側坐核・前頭葉内側部などは、ドーパミンニューロンの投射を密に受ける典型的な領域である。このことから、報酬予測に関連して活動する脳領域は、ドーパミンニューロンの活動を学習信号として調整されていると考えられている。

　このような活動の調整にはシナプス可塑性が重要な役割を果たす。実際、ドーパミンニューロンが活動することで起こるドーパミンの放出が、その投射先の神経細胞のシナプスの可塑性を修飾することが知られている(Calabresi, Picconi, Tozzi, & Di Filippo, 2007)河西ラボの論文」。このことから、ドーパミンニューロンの活動が報酬予測誤差の学習信号としてシナプス結合強度を調整することで、報酬に対する強化学習が起きていると考えられている(ref) 「「「Hn Wickensの論文」」」。

　近年では、前述の報酬予測に関連した活動が見られる線条体でも、報酬予測誤差を反映する神経活動が報告されている<ref name=oyama2010 />。また、手綱外側核では、ドーパミンニューロンとは逆に報酬の欠知や嫌悪刺激など負の報酬予測誤差に関連する活動が報告されている<ref><pubmed> 17522629 </pubmed></ref> 。これらの神経活動もなんらかの形で報酬予測に関連する活動の調整に関与しているとみられるが、その詳細はまだわかっていない。さらに、報酬予測誤差が脳でどのように計算されるかという問題も今後の研究が待たれている<ref name=tsutsui />。

== 参考文献 ==
<references/>

（執筆者：望月泰博、福田玄明、陳冲、中原裕之、担当編集委員：？？）