報酬予測

提供: 脳科学辞典
これは、このページの承認済み版であり、最新版でもあります。
移動先: 案内検索

望月泰博、陳冲、福田玄明、中原裕之
理化学研究所 脳科学総合研究センター 理論統合脳科学研究チーム
DOI:10.14931/bsd.7486 原稿受付日:2018年2月16日 原稿完成日:2018年3月9日
担当編集委員:田中啓治(理化学研究所 脳科学総合研究センター 認知機能表現研究チーム)

英:Reward prediction

 報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。ここで「報酬」とは、食料・水などに代表される正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るために報酬を予測し、それにもとづく反応や行動選択をみせる。動物の脳では、報酬を予測する刺激の価値・報酬をもたらす行動の価値・報酬への期待のそれぞれを反映した神経活動が報告されており、これらの活動はドーパミンニューロンの活動を学習信号として調整されると考えられている。ここでは、動物がみせる報酬予測にもとづく反応と行動選択、そして報酬予測にかかわる神経活動について述べる。

報酬予測にかかわる行動

 報酬(reward)の代表である食料・水は、動物の生存に不可欠であり、より多くの報酬を得るために反応・行動することは、種の存続に有利に働く。そのため、動物は特定の情報から報酬の獲得が予測できる状況にあっては報酬を予測し、それにともなう様々な反応と行動選択をみせる。

 動物が実際に報酬を予測していることを示唆する反応や行動選択は、パブロフ型条件づけ(Pavlovian conditioning、または古典的条件づけ、classical conditioning)、道具的条件づけ(instrumental conditioning、またはオペラント条件づけ、operant conditioning)、また遅延反応課題(delayed response task)をはじめとする選択課題の実験に端的に表れる。報酬予測にかかわる神経活動を調べる際に用いられるのも、多くの場合これらの実験パラダイムである。以下では、パブロフ型条件づけ、道具的条件づけ、そして遅延反応課題の実験にみられる報酬予測に関連した反応と行動選択について説明する。

パブロフ型条件づけにみられる反応

 パブロフ型条件づけの実験では、動物が報酬を予測していることを支持する受動的な反応がみられる。パブロフ型条件づけでは、動物は本来意味を持たない外界の情報(刺激)と報酬の連合を学習する。たとえば、有名な「パブロフの犬」の実験では、イヌがベルの音を聞いた直後に餌が与えられることを何度も経験するうちに、ベルの音を聞くだけでヨダレをだすようになる。これは、イヌがベルの音と餌の連合を学習したものと解釈できる。ここでは餌が報酬であり、無条件に(学習を必要とせず)ヨダレという反応を引き起こすことから、無条件刺激(unconditioned stimulus:US)と呼ばれる。また、ベルの音は学習の結果ヨダレの反応を引き起こすことから、条件刺激(conditioned stimulus:CS)と呼ばれる。動物が本来意味を持たないCSに対してUSによって引き起こされる反応を獲得することは、動物がCSをもとに報酬が得られることを予測するようになったためと考えられる。

 さらに、パブロフ型条件づけの実験では、動物が報酬を期待していることを示す自発的反応がみられる。たとえば、CSが報酬を予想することを学習した動物は、CSの呈示に際してCSや報酬の呈示場所へ近づく接近反応(approach response)をみせる[1]。また、報酬としてジュースが与えられる課題では、動物が報酬を獲得する前に飲み口を予期的に舐めるリッキング行動がみられる[2]。これらの報酬獲得のための準備行動も、動物がCSにもとづき報酬を予測していることを支持している。

 パブロフ型条件づけをはじめとした実験にみられる報酬予測に関連した反応は、強化学習のモデルを用いて説明することができる。ここでは、パブロフ型条件づけにおける動物の反応の数理モデルとして提唱された「レスコーラ・ワグナー・モデル(Rescorla–Wagner model)」の強化学習的解釈を紹介する[3] [4]

 レスコーラ・ワグナー・モデルでは、実際に得られた報酬量と予測された報酬量の差分である「報酬予測誤差(reward prediction error)」が学習信号となり、今までの予期報酬が新たな予期報酬へ更新される:

   新たな予期報酬 = 今までの予期報酬 + 学習係数 × 報酬予測誤差

上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば(報酬が予想していたより多ければ)増加し、負であれば(報酬が予想していたより少なければ)減少する。

 レスコーラ・ラワグナー・モデルは、パブロフ型条件づけの実験でみられる動物の反応をよく説明する。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果(blocking effect)」と呼ばれており[1]、レスコーラ・ラワグナー・モデルでは、先に学習された光が報酬の獲得を予測するため、音に予測される報酬の報酬予測誤差がゼロとなるからと解釈できる。

道具的条件づけにみられる自発的行動

 道具的条件づけの実験では、動物が報酬を予測していることを支持する自発的な行動がみられる。道具的条件づけの実験パラダイムでは、特定の環境や刺激に対して動物がとる行動次第で報酬が得られるかどうかが決まる。このような実験課題で、動物はより大きな報酬をもたらす行動の頻度を増加させる。たとえば、ソーンダイクが行った実験では、パズルボックスの中に閉じ込められたネコが試行錯誤を繰り返すうちに、ボックスの内側に設置された紐を引き、外に出て餌を獲得することを学習する。報酬をもたらす行動の頻度が増加することは、動物が特定の行動の結果として報酬が得られることを学習したためと考えられる。

遅延反応課題にみられる行動選択と反応

図1.遅延反応課題のイメージ[5]

 報酬予測に関連した行動選択を調べるためによく用いられる課題に、遅延選択課題がある(図1)。たとえば、サルが学習する典型的な遅延選択課題では、まず左右どちらかの手がかり刺激(cue stimulus)が点灯する。手がかり刺激が消えたあとGO刺激(GO stimulus)が点灯すると、サルには左右どちらかのボタンを押すことが求められる。このとき、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースが与えられるが、逆側を押した場合には報酬が与えられない。

 サルはこのような課題を繰り返すうちに、手がかり刺激に応じて左右のボタンを押し、報酬を得ることを学習する。さらに、サルの好物であるバナナを報酬として遅延選択課題を行った場合、報酬をレタスに変更すると、サルは驚きと怒りをみせる[6]。また、同様の実験パラダイムでサルが二種類の手がかり刺激がそれぞれ異なる種類のジュースを予測していることを学習した場合、サルは嗜好性の高い報酬が得られる試行において、より短い反応時間かつより高い正当率で行動選択を行い、予期的なリッキング行動をより長い時間続ける[7]。これらのことは、サルが特定の行動を選択した結果得られる報酬を予測していることを示している[5]

報酬予測にかかわる神経活動

図2.遅延反応課題でみられる報酬予測にかかわる神経活動のイメージ[8]
A. 報酬を予測する刺激の価値を反映したニューロンの活動。
B. 報酬をもたらす行動の価値を反映したニューロンの活動。
C. 報酬への期待を反映したニューロンの活動。黄色と青色は、同じニューロンがそれぞれ嗜好性の高い報酬と低い報酬が予測される試行でみせる活動。

 報酬予測にかかわる神経活動は、一般に報酬系と呼ばれる脳領域群をはじめとして、多様な脳領域でみられる[2] [8] [9] [10] [11] [12] [13]。ここでは、報酬予測にかかわる神経活動を、報酬を予測する刺激の価値を反映した神経活動(図2A)、報酬をもたらす行動の価値を反映した神経活動(図2B)、動物の報酬への期待を反映した神経活動(図2C)に分類し[2] [8]、これらの神経活動がみられる領域を紹介する。そして最後に、報酬予測にかかわる神経活動を調整する学習信号と考えられているドーパミンニューロン(dopaminergic neuron)の活動を紹介する。

刺激や行動の価値の神経活動

 動物の脳では、刺激や行動の「価値(value)」を反映するような神経活動が報告されている[2] [8] [9] [10] [14]

 パブロフ型条件づけでは、本来意味を持たない刺激が、報酬との連合が学習されることで、未来の報酬を予測する価値の高い情報となる。このような学習によって増加した刺激の価値を反映するように、報酬を予測する刺激が呈示された直後に予想される報酬の好ましさに応じて活動を増大させるニューロンがみつかっている(図2A)。

 刺激の価値を反映した神経活動は、眼窩前頭皮質[15] [16] [17]線条体[7] [18] [19] [20]扁桃体[21] [22]黒質緻密部[23]上丘[24]などで報告されている。

 また、道具的条件づけでは、本来意味を持たない行動が、報酬との連合が学習されることで、報酬をもたらす価値の高い行動となる。このような学習にともなう行動の価値の増加を反映するように、報酬をもたらす行動が遂行される前後で予想される報酬の好ましさに応じて活動を増大させるニューロンがみつかっている(図2B)。

 行動の価値を反映した神経活動は、線条体[7] [20] [25] [26] [27] [28]後頭頂皮質[29]などで報告されている。

 また、刺激や行動の価値を反映した神経活動には、予測される報酬の量や好ましさの情報とともに、報酬を予測する刺激の知覚情報、あるいは報酬を獲得するための行動に関連した情報が符号化されている場合が多い[8] [10]。たとえば、サルが遅延反応課題を行う際の神経活動を線条体で計測した実験では、手がかり刺激が視野の対側に呈示される試行で活動を高めるニューロンがみつかっている[18] [26]。このような予測された報酬の情報および報酬獲得のための行動関連情報を含む神経信号は、報酬獲得のために適切な行動を遂行することを可能にしているものと考えられる[10]

報酬期待の神経活動

 これまでの多くの実験から、動物の報酬への期待を反映するような神経活動が報告されている[2] [8] [9] [10] [30]。報酬期待の神経活動は、報酬を予測する刺激が呈示された後、報酬が獲得されるまでの間に持続的に増大し、さらに活動の増大幅は予測された報酬の量や好ましさを反映するという特徴を持つ(図2C)。

 報酬期待の神経活動がみられる脳領野は多岐にわたっている。大脳皮質下の領域では、線条体[18] [31] [32]淡蒼球[33]、扁桃体[34]、上丘[24]脚橋被蓋核[35]などで報酬期待の神経活動がみられる。また、大脳皮質では、背外側前頭前皮質[5] [36] [37]、眼窩前頭皮質[16] [34]、後頭頂皮質[38]前帯状皮質[39]島皮質[40]運動前野[17] [37]などで報酬期待の神経活動が報告されている。

ドーパミンニューロンの活動と報酬予測誤差

 ドーパミンニューロンのphasic活動は、強化学習で一般に報酬予測誤差と呼ばれる学習信号を符号化していると考えられており、これは「ドーパミン報酬予測誤差仮説(the dopamine reward prediction error hypothesis)」と呼ばれている[41] [42] [43]。ドーパミン報酬予測誤差仮説を支持する研究結果として、たとえば、サルのドーパミンニューロンの反応が学習に伴い変化することが知られている[41] [44]。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動が低下する。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している[9]。さらに、阻止効果に関する実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが確認されおり[45] [46]、またオプトジェネティクスを用いてドーパミンニューロンの活動を人為的に操作すると報酬予測に関連した学習が阻害されることも報告されている[47]

 報酬予測誤差を反映したドーパミンニューロンの活動は、神経可塑性を介して脳における価値表現を調節すると考えられている。ドーパミンニューロンは、前述の刺激や行動の価値を反映した神経活動が報告されている脳領域の多くに投射しており[9] [10]、投射先のニューロンのシナプス強度はドーパミンニューロンが活動することで放出されるドーパミンによって調節される[48] [49]

 近年では、ドーパミンニューロンの他にも、線条体[50]内側前頭前皮質[51]で報酬予測誤差を反映した活動をみせるニューロンが見つかっている。さらに、外側手綱核ではドーパミンニューロンとは逆に罰の予測に関連して負の報酬予測誤差を反映するニューロンの活動が報告されている[52]。これらの神経活動もなんらかの形で報酬予測に関連する神経活動の調整にかかわっているものと考えられるが、その詳細はまだわかっていない[2]。また、報酬予測誤差そのものが脳でどのように計算されているのかという問題も今後の重要な研究課題の一つといえるだろう[2] [53] [54] [55] [56]

関連項目

参考文献

  1. 1.0 1.1 Mark E Bouton
    Learning and behavior: A contemporary synthesis Second Edition
    Sinauer Associates: 2007
  2. 2.0 2.1 2.2 2.3 2.4 2.5 2.6 筒井健一郎、大山佳
    報酬期待の神経科学、社会脳シリーズ第5巻・報酬を期待する脳
    苧坂直行編、新曜社: 2014
  3. Peter Dayan,‎ L. F. Abbott
    Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems
    The MIT Press: 2001
  4. Peter Dayan,‎ Hiroyuki Nakahara
    Models and Methods for Reinforcement Learning, The Stevens’ Handbook of Experimental Psychology
    Wiley: 2017
  5. 5.0 5.1 5.2 M Watanabe

    Reward expectancy in primate prefrontal neurons.
    Nature: 1996, 382(6592);629-32 [PubMed:8757133] [WorldCat.org] [DOI]

  6. O L Tinklepaugh
    An experimental study of representative factors in monkeys.
    J. Comp. Psychol.: 1928, (8);197-236
  7. 7.0 7.1 7.2 O K Hassani, H C Cromwell, W Schultz

    Influence of expectation of different rewards on behavior-related neuronal activity in the striatum.
    J. Neurophysiol.: 2001, 85(6);2477-89 [PubMed:11387394] [WorldCat.org] [DOI]

  8. 8.0 8.1 8.2 8.3 8.4 8.5 Wolfram Schultz

    Neuronal Reward and Decision Signals: From Theories to Data.
    Physiol. Rev.: 2015, 95(3);853-951 [PubMed:26109341] [WorldCat.org] [DOI]

  9. 9.0 9.1 9.2 9.3 9.4 Wolfram Schultz

    Behavioral theories and the neurophysiology of reward.
    Annu Rev Psychol: 2006, 57;87-115 [PubMed:16318590] [WorldCat.org] [DOI]

  10. 10.0 10.1 10.2 10.3 10.4 10.5 Okihide Hikosaka, Kae Nakamura, Hiroyuki Nakahara

    Basal ganglia orient eyes to reward.
    J. Neurophysiol.: 2006, 95(2);567-84 [PubMed:16424448] [WorldCat.org] [DOI]

  11. Suzanne N Haber, Brian Knutson

    The reward circuit: linking primate anatomy and human imaging.
    Neuropsychopharmacology: 2010, 35(1);4-26 [PubMed:19812543] [WorldCat.org] [DOI]

  12. Antonio Rangel, Colin Camerer, P Read Montague

    A framework for studying the neurobiology of value-based decision making.
    Nat. Rev. Neurosci.: 2008, 9(7);545-56 [PubMed:18545266] [WorldCat.org] [DOI]

  13. Matthew F S Rushworth, Maryann P Noonan, Erie D Boorman, Mark E Walton, Timothy E Behrens

    Frontal cortex and reward-guided learning and decision-making.
    Neuron: 2011, 70(6);1054-69 [PubMed:21689594] [WorldCat.org] [DOI]

  14. John P O'Doherty, Jeffrey Cockburn, Wolfgang M Pauli

    Learning, Reward, and Decision Making.
    Annu Rev Psychol: 2017, 68;73-100 [PubMed:27687119] [WorldCat.org] [DOI]

  15. E T Rolls, H D Critchley, R Mason, E A Wakeman

    Orbitofrontal cortex neurons: role in olfactory and visual association learning.
    J. Neurophysiol.: 1996, 75(5);1970-81 [PubMed:8734596] [WorldCat.org] [DOI]

  16. 16.0 16.1 L Tremblay, W Schultz

    Relative reward preference in primate orbitofrontal cortex.
    Nature: 1999, 398(6729);704-8 [PubMed:10227292] [WorldCat.org] [DOI]

  17. 17.0 17.1 Matthew R Roesch, Carl R Olson

    Neuronal activity related to reward value and motivation in primate frontal cortex.
    Science: 2004, 304(5668);307-10 [PubMed:15073380] [WorldCat.org] [DOI]

  18. 18.0 18.1 18.2 R Kawagoe, Y Takikawa, O Hikosaka

    Expectation of reward modulates cognitive signals in the basal ganglia.
    Nat. Neurosci.: 1998, 1(5);411-6 [PubMed:10196532] [WorldCat.org] [DOI]

  19. M Kimura, J Rajkowski, E Evarts

    Tonically discharging putamen neurons exhibit set-dependent responses.
    Proc. Natl. Acad. Sci. U.S.A.: 1984, 81(15);4998-5001 [PubMed:6589643] [WorldCat.org]

  20. 20.0 20.1 Howard C Cromwell, Wolfram Schultz

    Effects of expectations for different reward magnitudes on neuronal activity in primate striatum.
    J. Neurophysiol.: 2003, 89(5);2823-38 [PubMed:12611937] [WorldCat.org] [DOI]

  21. H Nishijo, T Ono, H Nishino

    Single neuron responses in amygdala of alert monkey during complex sensory stimulation with affective significance.
    J. Neurosci.: 1988, 8(10);3570-83 [PubMed:3193171] [WorldCat.org]

  22. Joseph J Paton, Marina A Belova, Sara E Morrison, C Daniel Salzman

    The primate amygdala represents the positive and negative value of visual stimuli during learning.
    Nature: 2006, 439(7078);865-70 [PubMed:16482160] [WorldCat.org] [DOI]

  23. W Schultz

    Responses of midbrain dopamine neurons to behavioral trigger stimuli in the monkey.
    J. Neurophysiol.: 1986, 56(5);1439-61 [PubMed:3794777] [WorldCat.org] [DOI]

  24. 24.0 24.1 Takuro Ikeda, Okihide Hikosaka

    Reward-dependent gain and bias of visual responses in primate superior colliculus.
    Neuron: 2003, 39(4);693-700 [PubMed:12925282] [WorldCat.org]

  25. Kazuyuki Samejima, Yasumasa Ueda, Kenji Doya, Minoru Kimura

    Representation of action-specific reward values in the striatum.
    Science: 2005, 310(5752);1337-40 [PubMed:16311337] [WorldCat.org] [DOI]

  26. 26.0 26.1 Johan Lauwereyns, Katsumi Watanabe, Brian Coe, Okihide Hikosaka

    A neural correlate of response bias in monkey caudate nucleus.
    Nature: 2002, 418(6896);413-7 [PubMed:12140557] [WorldCat.org] [DOI]

  27. Katsumi Watanabe, Johan Lauwereyns, Okihide Hikosaka

    Neural correlates of rewarded and unrewarded eye movements in the primate caudate nucleus.
    J. Neurosci.: 2003, 23(31);10052-7 [PubMed:14602819] [WorldCat.org]

  28. Brian Lau, Paul W Glimcher

    Value representations in the primate striatum during matching behavior.
    Neuron: 2008, 58(3);451-63 [PubMed:18466754] [WorldCat.org] [DOI]

  29. Leo P Sugrue, Greg S Corrado, William T Newsome

    Matching behavior and the representation of value in the parietal cortex.
    Science: 2004, 304(5678);1782-7 [PubMed:15205529] [WorldCat.org] [DOI]

  30. Xun Liu, Jacqueline Hairston, Madeleine Schrier, Jin Fan

    Common and distinct networks underlying reward valence and processing stages: a meta-analysis of functional neuroimaging studies.
    Neurosci Biobehav Rev: 2011, 35(5);1219-36 [PubMed:21185861] [WorldCat.org] [DOI]

  31. W Schultz, P Apicella, E Scarnati, T Ljungberg

    Neuronal activity in monkey ventral striatum related to the expectation of reward.
    J. Neurosci.: 1992, 12(12);4595-610 [PubMed:1464759] [WorldCat.org]

  32. O Hikosaka, M Sakamoto, S Usui

    Functional properties of monkey caudate neurons. III. Activities related to expectation of target and reward.
    J. Neurophysiol.: 1989, 61(4);814-32 [PubMed:2723722] [WorldCat.org] [DOI]

  33. Yoshihisa Tachibana, Okihide Hikosaka

    The primate ventral pallidum encodes expected reward value and regulates motor action.
    Neuron: 2012, 76(4);826-37 [PubMed:23177966] [WorldCat.org] [DOI]

  34. 34.0 34.1 G Schoenbaum, A A Chiba, M Gallagher

    Orbitofrontal cortex and basolateral amygdala encode expected outcomes during learning.
    Nat. Neurosci.: 1998, 1(2);155-9 [PubMed:10195132] [WorldCat.org] [DOI]

  35. Ken-ichi Okada, Keisuke Toyama, Yuka Inoue, Tadashi Isa, Yasushi Kobayashi

    Different pedunculopontine tegmental neurons signal predicted and actual task rewards.
    J. Neurosci.: 2009, 29(15);4858-70 [PubMed:19369554] [WorldCat.org] [DOI]

  36. M I Leon, M N Shadlen

    Effect of expected reward magnitude on the response of neurons in the dorsolateral prefrontal cortex of the macaque.
    Neuron: 1999, 24(2);415-25 [PubMed:10571234] [WorldCat.org]

  37. 37.0 37.1 Matthew R Roesch, Carl R Olson

    Impact of expected reward on neuronal activity in prefrontal cortex, frontal and supplementary eye fields and premotor cortex.
    J. Neurophysiol.: 2003, 90(3);1766-89 [PubMed:12801905] [WorldCat.org] [DOI]

  38. M L Platt, P W Glimcher

    Neural correlates of decision variables in parietal cortex.
    Nature: 1999, 400(6741);233-8 [PubMed:10421364] [WorldCat.org] [DOI]

  39. Munetaka Shidara, Barry J Richmond

    Anterior cingulate: single neuronal signals related to degree of reward expectancy.
    Science: 2002, 296(5573);1709-11 [PubMed:12040201] [WorldCat.org] [DOI]

  40. Takashi Mizuhiki, Barry J Richmond, Munetaka Shidara

    Encoding of reward expectation by monkey anterior insular neurons.
    J. Neurophysiol.: 2012, 107(11);2996-3007 [PubMed:22402653] [WorldCat.org] [DOI]

  41. 41.0 41.1 W Schultz, P Dayan, P R Montague

    A neural substrate of prediction and reward.
    Science: 1997, 275(5306);1593-9 [PubMed:9054347] [WorldCat.org]

  42. Paul W Glimcher

    Understanding dopamine and reinforcement learning: the dopamine reward prediction error hypothesis.
    Proc. Natl. Acad. Sci. U.S.A.: 2011, 108 Suppl 3;15647-54 [PubMed:21389268] [WorldCat.org] [DOI]

  43. Nathaniel D. Daw,‎ Philippe N. Tobler
    Value Learning through Reinforcement: The Basics of Dopamine and Reinforcement Learning
    In Neuroeconomics 2nd Edition, Edited by Paul W Glimcher & Ernst Fehr, Academic Press: 2014
  44. J Mirenowicz, W Schultz

    Importance of unpredictability for reward responses in primate dopamine neurons.
    J. Neurophysiol.: 1994, 72(2);1024-7 [PubMed:7983508] [WorldCat.org] [DOI]

  45. P Waelti, A Dickinson, W Schultz

    Dopamine responses comply with basic assumptions of formal learning theory.
    Nature: 2001, 412(6842);43-8 [PubMed:11452299] [WorldCat.org] [DOI]

  46. Hiroyuki Nakahara, Hideaki Itoh, Reiko Kawagoe, Yoriko Takikawa, Okihide Hikosaka

    Dopamine neurons can represent context-dependent prediction error.
    Neuron: 2004, 41(2);269-80 [PubMed:14741107] [WorldCat.org]

  47. Wolfram Schultz, Wiliam R Stauffer, Armin Lak

    The phasic dopamine signal maturing: from reward via behavioural activation to formal economic utility.
    Curr. Opin. Neurobiol.: 2017, 43;139-148 [PubMed:28390863] [WorldCat.org] [DOI]

  48. J N Reynolds, B I Hyland, J R Wickens

    A cellular mechanism of reward-related learning.
    Nature: 2001, 413(6851);67-70 [PubMed:11544526] [WorldCat.org] [DOI]

  49. Sho Yagishita, Akiko Hayashi-Takagi, Graham C R Ellis-Davies, Hidetoshi Urakubo, Shin Ishii, Haruo Kasai

    A critical time window for dopamine actions on the structural plasticity of dendritic spines.
    Science: 2014, 345(6204);1616-20 [PubMed:25258080] [WorldCat.org] [DOI]

  50. Kei Oyama, István Hernádi, Toshio Iijima, Ken-Ichiro Tsutsui

    Reward prediction error coding in dorsal striatal neurons.
    J. Neurosci.: 2010, 30(34);11447-57 [PubMed:20739566] [WorldCat.org] [DOI]

  51. Madoka Matsumoto, Kenji Matsumoto, Hiroshi Abe, Keiji Tanaka

    Medial prefrontal cell activity signaling prediction errors of action values.
    Nat. Neurosci.: 2007, 10(5);647-56 [PubMed:17450137] [WorldCat.org] [DOI]

  52. Masayuki Matsumoto, Okihide Hikosaka

    Lateral habenula as a source of negative reward signals in dopamine neurons.
    Nature: 2007, 447(7148);1111-5 [PubMed:17522629] [WorldCat.org] [DOI]

  53. Jeremiah Y Cohen, Sebastian Haesler, Linh Vong, Bradford B Lowell, Naoshige Uchida

    Neuron-type-specific signals for reward and punishment in the ventral tegmental area.
    Nature: 2012, 482(7383);85-8 [PubMed:22258508] [WorldCat.org] [DOI]

  54. Kae Nakamura, Gustavo S Santos, Ryuichi Matsuzaki, Hiroyuki Nakahara

    Differential reward coding in the subdivisions of the primate caudate during an oculomotor task.
    J. Neurosci.: 2012, 32(45);15963-82 [PubMed:23136434] [WorldCat.org] [DOI]

  55. Hiroyuki Nakahara, Okihide Hikosaka

    Learning to represent reward structure: a key to adapting to complex environments.
    Neurosci. Res.: 2012, 74(3-4);177-83 [PubMed:23069349] [WorldCat.org] [DOI]

  56. Hiroyuki Nakahara

    Multiplexing signals in reinforcement learning with internal models and dopamine.
    Curr. Opin. Neurobiol.: 2014, 25;123-9 [PubMed:24463329] [WorldCat.org] [DOI]