「報酬予測」の版間の差分

提供：脳科学辞典
ナビゲーションに移動 検索に移動
細編集の要約なし
細編集の要約なし
3行目: 3行目:
{{box|text=　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。ここで「報酬」とは、食料・水などに代表される正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るため報酬を予測し、それにもとづく反応や行動を見せる。私たちが常日頃行うさまざまな意思決定は報酬予測に駆動されており、また近年では報酬予測と脳における学習メカニズムが深くかかわることが提案されている。ここでは、動物がみせる報酬予測にもとづく反応、また報酬予測にもとづいた適応的な行動選択、そしてこれらにかかわる神経活動について述べる。}}
{{box|text=　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。ここで「報酬」とは、食料・水などに代表される正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るため報酬を予測し、それにもとづく反応や行動を見せる。私たちが常日頃行うさまざまな意思決定は報酬予測に駆動されており、また近年では報酬予測と脳における学習メカニズムが深くかかわることが提案されている。ここでは、動物がみせる報酬予測にもとづく反応、また報酬予測にもとづいた適応的な行動選択、そしてこれらにかかわる神経活動について述べる。}}


==行動実験にみる報酬予測==
==報酬予測にかかわる行動==
　報酬の代表である食料・水は、動物の生存に不可欠であり、より多くの報酬を得るために反応・行動することは、種の存続に有利に働く。そのため、動物は特定の情報から報酬の獲得が予測できる状況にあっては、報酬を予測し、それにともなう様々な反応と行動をみせる。
　報酬の代表である食料・水は、動物の生存に不可欠であり、より多くの報酬を得るために反応・行動することは、種の存続に有利に働く。そのため、特定の情報から報酬の獲得が予測できる状況にあっては、動物は報酬を予測し、それにともなう様々な反応と行動をみせる。


　実際に動物が報酬を予測していることを示唆する反応や行動は、[[パブロフ型条件づけ]]（pavlovian conditioning、または古典的条件づけ、classical conditioning）や[[道具的条件づけ]]（instrumental conditioning、またはオペラント条件づけ、operant conditioning）の実験においてみられる。近年の研究動向は、報酬予測の神経基盤へと拡がっているが、多くの場合そこで用いられるのもパブロフ型条件づけ・道具的条件づけの実験パラダイムである。以下では、パブロフ型条件づけと道具的条件づけの行動実験にみられる報酬予測に関連する反応と行動について説明する。
　実際に動物が報酬を予測していることを示唆する反応や行動は、[[パブロフ型条件づけ]]（pavlovian conditioning、または古典的条件づけ、classical conditioning）や[[道具的条件づけ]]（instrumental conditioning、またはオペラント条件づけ、operant conditioning）の実験に端的に表れる。近年の研究動向は、報酬予測の神経基盤へと拡がっているが、多くの場合そこで用いられるのもパブロフ型条件づけ・道具的条件づけの実験パラダイムである。以下では、パブロフ型条件づけと道具的条件づけの行動実験にみられる報酬予測に関連する反応と行動について説明する。


===パブロフ型条件づけと報酬予測にもとづく反応===
===パブロフ型条件づけと報酬予測にもとづく反応===
13行目: 13行目:
　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す自発的反応もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ近づく接近反応（approach response）をみせる<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、ラットに報酬としてジュースを与える課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを支持している。
　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す自発的反応もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ近づく接近反応（approach response）をみせる<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、ラットに報酬としてジュースを与える課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを支持している。


　このような報酬予測にもとづく反応はどのように学習されるのだろうか？ ここでは、パブロフ型条件づけをはじめとする条件づけ課題で実際にみられる動物の行動をよく説明することが知られている、[[強化学習]]と呼ばれる学習則を紹介する<ref>'''Richard S. Sutton,‎ Andrew G. Barto'''<br>Reinforcement Learning: An Introduction<br>''The MIT Press'': 1998</ref>。
　このような報酬予測にもとづく反応はどのように学習されるのだろうか？ ここでは、パブロフ型条件づけの課題で実際にみられる動物の行動をよく説明する「レスコーラ＝ワグナーの学習則」と呼ばれる[[強化学習]]の学習則を紹介する<ref>'''Peter Dayan,‎ L. F. Abbott'''<br>Theoretical Neuroscience - Computational and Mathematical Modeling of Neural Systems <br>''The MIT Press'': 2001</ref>。


　強化学習では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差（reward prediction error）」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：
　レスコーラ＝ワグナーの学習則では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差（reward prediction error）」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：


&nbsp;&nbsp;&nbsp;<i>新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差</i>
&nbsp;&nbsp;&nbsp;<i>新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差</i>


同様の学習則は、心理学の分野でレスコーラ-ワグナーの学習則と呼ばれている。
上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方修正され、負であれば（報酬が予想していたより少なければ）下方修正される。また、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習は起こらない。


　上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方修正され、負であれば（報酬が予想していたより少なければ）下方修正される。また、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習は起こらない。これらのことは、実際のパブロフ型条件づけのさまざまな行動実験で確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果（blocking effect）」と呼ばれている<ref name=bouton />。強化学習の枠組みでは、先に学習された光から餌の獲得が完全に予測されるため、音に対する報酬予測誤差がゼロとなるからであると解釈できる。
　これらのことは、実際のパブロフ型条件づけのさまざまな行動実験で確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果（blocking effect）」と呼ばれている<ref name=bouton />。強化学習の枠組みでは、先に学習された光から餌の獲得が完全に予測されるため、音に対する報酬予測誤差がゼロとなるからであると解釈できる。


===道具的条件づけと報酬予測にもとづく行動選択===
===道具的条件づけと報酬予測にもとづく行動選択===
51行目: 51行目:


===ドーパミンニューロンの活動と報酬予測誤差===
===ドーパミンニューロンの活動と報酬予測誤差===
　近年、[[ドーパミンニューロン]]の活動が、強化学習の学習信号である報酬予測誤差を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref><pubmed> 9054347 </pubmed></ref>が注目されている。報酬予測誤差にもとづく学習則が、動物の報酬予測に関連した学習をよく説明することは既に述べた。ドーパミンニューロンの活動は、動物の報酬予測にかかわる学習の学習信号として働いている可能性がある。
　近年、[[ドーパミンニューロン]]の一過性の活動（phasic activity）が、強化学習の学習則で一般に報酬予測誤差と呼ばれる学習信号を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref><pubmed> 9054347 </pubmed></ref>が注目されている。報酬予測誤差にもとづくレスコーラ＝ワグナーの学習則が、動物の報酬予測に関連した学習をよく説明することは既に述べた。その神経基盤として、ドーパミンニューロンの活動が報酬予測誤差を反映した学習信号として働いている可能性がある。


　たとえば、道具的条件づけのパラダイムを用いた実験では、サルの学習に伴ってドーパミンニューロンの反応が変化することが報告されている<ref><pubmed> 7983508</pubmed></ref>。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は、学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動に低下がみられる<ref><pubmed> 10195164 </pubmed></ref>。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している<ref name=schultz2006 />。さらに、阻止効果の実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが報告されおり<ref><pubmed> 11452299 </pubmed></ref> <ref><pubmed> 14741107 </pubmed></ref>、近年では[[オプトジェネティクス]]やマイクロスティミュレーションを用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることが報告されている<ref><pubmed> 28390863 </pubmed></ref> 。これらのこともまたドーパミン報酬予測誤差仮説を支持している。
　たとえば、道具的条件づけのパラダイムを用いた実験では、サルの学習に伴ってドーパミンニューロンの反応が変化することが報告されている<ref><pubmed> 7983508</pubmed></ref>。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は、学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動に低下がみられる<ref><pubmed> 10195164 </pubmed></ref>。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している<ref name=schultz2006 />。さらに、阻止効果の実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが報告されおり<ref><pubmed> 11452299 </pubmed></ref> <ref><pubmed> 14741107 </pubmed></ref>、近年では[[オプトジェネティクス]]やマイクロスティミュレーションを用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることが報告されている<ref><pubmed> 28390863 </pubmed></ref> 。これらのこともまたドーパミン報酬予測誤差仮説を支持している。

2018年1月30日 (火) 15:20時点における版

英：Reward prediction

　報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。ここで「報酬」とは、食料・水などに代表される正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るため報酬を予測し、それにもとづく反応や行動を見せる。私たちが常日頃行うさまざまな意思決定は報酬予測に駆動されており、また近年では報酬予測と脳における学習メカニズムが深くかかわることが提案されている。ここでは、動物がみせる報酬予測にもとづく反応、また報酬予測にもとづいた適応的な行動選択、そしてこれらにかかわる神経活動について述べる。

報酬予測にかかわる行動

　報酬の代表である食料・水は、動物の生存に不可欠であり、より多くの報酬を得るために反応・行動することは、種の存続に有利に働く。そのため、特定の情報から報酬の獲得が予測できる状況にあっては、動物は報酬を予測し、それにともなう様々な反応と行動をみせる。

　実際に動物が報酬を予測していることを示唆する反応や行動は、パブロフ型条件づけ（pavlovian conditioning、または古典的条件づけ、classical conditioning）や道具的条件づけ（instrumental conditioning、またはオペラント条件づけ、operant conditioning）の実験に端的に表れる。近年の研究動向は、報酬予測の神経基盤へと拡がっているが、多くの場合そこで用いられるのもパブロフ型条件づけ・道具的条件づけの実験パラダイムである。以下では、パブロフ型条件づけと道具的条件づけの行動実験にみられる報酬予測に関連する反応と行動について説明する。

パブロフ型条件づけと報酬予測にもとづく反応

　パブロフ型条件づけの実験パラダイムでは、動物の報酬予測にもとづく反応がみられる。パブロフ型条件づけでは、動物が本来意味を持たない外界の情報（刺激）と報酬の連合を学習する。たとえば、有名な「パブロフの犬」の実験では、イヌがベルの音を聞いた直後に餌が与えられることを何度も経験するうちに、ベルの音を聞くだけでヨダレをだすようになる。これは、イヌがベルの音と餌の獲得の連合を学習したものと解釈できる。ここでは餌が報酬であり、無条件（学習を必要とせず）に唾液の分泌という反応を引き起こすことから、無条件刺激（unconditioned stimulus、US）と呼ばれる。また、ベルの音は学習の結果ヨダレの反応を引き起こすことから、条件刺激（conditioned stimulus、CS）と呼ばれる。動物が本来意味を持たないCSに対してUSによって引き起こされる反応を獲得することは、動物がCSをもとに報酬が得られることを予測するようになったためと考えられる。

　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す自発的反応もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ近づく接近反応（approach response）をみせる[1]。また、ラットに報酬としてジュースを与える課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる[2]。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを支持している。

　このような報酬予測にもとづく反応はどのように学習されるのだろうか？ ここでは、パブロフ型条件づけの課題で実際にみられる動物の行動をよく説明する「レスコーラ＝ワグナーの学習則」と呼ばれる強化学習の学習則を紹介する[3]。

　レスコーラ＝ワグナーの学習則では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差（reward prediction error）」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：

   新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差

上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方修正され、負であれば（報酬が予想していたより少なければ）下方修正される。また、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習は起こらない。

　これらのことは、実際のパブロフ型条件づけのさまざまな行動実験で確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果（blocking effect）」と呼ばれている[1]。強化学習の枠組みでは、先に学習された光から餌の獲得が完全に予測されるため、音に対する報酬予測誤差がゼロとなるからであると解釈できる。

道具的条件づけと報酬予測にもとづく行動選択

　動物は、報酬予測にもとづき適応的に行動を選択する。このような行動選択を調べるための実験パラダイムとして、道具的条件づけがある。受動的な課題であるパブロフ型条件づけの実験パラダイムは、自らの反応や行動と実際に報酬が得られるかどうかに関わりがないため、動物の積極的な行動選択を調べることはできない。これに対して、道具的条件づけの実験パラダイムでは、特定の刺激に対して選択される行動次第で得られる報酬に違いが生まれる。このような課題のなかで、動物は特定の行動の結果得られる報酬を予測し、より多くのより好ましい報酬を得るために適応的な行動選択をみせる。

　なお、道具的条件づけを大別すると、動物がいつ・どのような行動を採るかに制限のない（free responding）課題と、試行ごとに採り得る行動の選択肢があらかじめ決まっている課題があるが、ここでは主に後者に関連して報酬予測と行動選択の関係を概観する。

　道具的条件づけの課題のなかでも、報酬予測にもとづく行動を調べるためによく用いられる課題に、遅延選択課題（delayed response task）がある。たとえば、典型的な遅延選択課題では、サルは各試行で左右どちらかのボタンを押すことが求められる。このとき、ボタン押しに先んじて視野の左右どちらかに手がかり刺激が呈示される。サルは、手がかり刺激が消えてから数秒後にボタンを押すよう訓練され、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースを得るが、逆側を押した場合には報酬が得られない。

　このような課題で、サルは手がかり刺激が呈示された側のボタンを押して報酬を得ることを学習する。これは、より多くの報酬をもたらす行動の頻度が増加するという、一般に「効果の法則（law of effect）」[1]と呼ばれる現象の一例である。動物がより多くの報酬をもたらす行動を学習するということは、行動の結果得られる報酬が予測されていることを支持している。

　さらに、遅延選択課題でサルの好物であるバナナを報酬として条件づけを行った場合、報酬が突然レタスに変更されると、サルは驚きと怒りをみせる[4]。これは、サルが学習の結果、報酬としてバナナを期待するようになったことを支持している[5]。また、同様の実験パラダイムで二種類の手がかり刺激がそれぞれ異なる報酬（異なる種類のジュース）と対応していることを学習したサルでは、より嗜好性の高い報酬が得られる試行において、サルがより長い時間予期的なリッキング行動を続け、より短い反応時間かつより高い正当率で回答することが報告されている[6]。これらのこともまた、サルが学習の結果報酬を予測していることを支持している。

報酬予測にかかわる神経活動

　ここでは、報酬予測にかかわる神経活動として、報酬系と呼ばれる脳領域群をはじめとする多様な脳領域で見られる動物の報酬への期待を反映した神経活動の特性を説明し、その活動がみられる領域を簡単に列挙する。そして、報酬期待の神経活動を調整する学習信号と考えられているドーパミンニューロンの活動を紹介する。

報酬期待の神経活動

　これまでの多くの実験から、あたかも動物の報酬への期待を反映したような神経活動が報告されている[2] [7] [8]。このような神経活動は、報酬を予測する情報（パブロフ型条件づけのCS・遅延反応課題の手がかり刺激など）が呈示された後、実際に報酬を獲得するまでの間に増大し、さらに活動の増大幅は予測された報酬の量や好ましさを反映するという特徴を持つ[2] [8]。ここでは、これらの特徴も持つ神経活動を「報酬期待の神経活動」と呼ぶ。

　報酬期待の神経活動がみられる脳領野は多岐にわたっている。大脳皮質下の領域では、線条体[6] [9] [7] [10] [11] [12] [13] [14] [15]、淡蒼球[16]、中脳ドーパミン領域（腹側被蓋野[17]・黒質緻密部[18]）、扁桃体[19] [20]、上丘[21]、脚橋被蓋核[22]、およびセロトニンニューロンを含む背側縫線核[23] [24]などで報酬期待の神経活動が見られる。

　また、大脳皮質では、背外側前頭前皮質[5] [25] [26] [27]、眼窩前頭前皮質[28] [29] [30] [31] [32]、後頭頂皮質[33] [34]、前帯状回皮質[35]、島皮質[36] [37]、運動前野[27] [30]などで報酬期待の神経活動が報告されている。

　また、報酬期待の神経活動には、期待される報酬の量や好ましさの情報とともに、報酬を予測する刺激の知覚情報や、報酬を獲得するための行動情報が符号化されている場合が多い。たとえば、線条体では手がかり刺激が視野の対側に呈示されるときにのみ予測された報酬量を反映した活動を見せる神経細胞の報告がある[7] [11]。これは、報酬を予測する刺激の位置情報と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。また、同じ線条体では、行動器（effector）をどのように動かすかという運動準備情報と、その運動の結果予測される報酬への期待の両方が反映された神経活動が報告されている[12]。これに対して、眼窩前頭前皮質では、刺激の知覚や選択された行動によらず予測される報酬が何であるかという認知が反映された報酬期待の神経活動が報告されている[31] [32]。

　報酬期待の神経活動は報酬系をはじめとする幅広い脳領域にみられる。より詳細な脳領野間の機能分化の理解は、今後の重要な課題の一つだろう。たとえば、線条体では背側と腹側の機能分化[7]、また前頭連合野では外側/内側・背側/腹側などの機能分化が提案されている[38] [39]。

ドーパミンニューロンの活動と報酬予測誤差

　近年、ドーパミンニューロンの一過性の活動（phasic activity）が、強化学習の学習則で一般に報酬予測誤差と呼ばれる学習信号を符号化しているとする「ドーパミン報酬予測誤差仮説」[40]が注目されている。報酬予測誤差にもとづくレスコーラ＝ワグナーの学習則が、動物の報酬予測に関連した学習をよく説明することは既に述べた。その神経基盤として、ドーパミンニューロンの活動が報酬予測誤差を反映した学習信号として働いている可能性がある。

　たとえば、道具的条件づけのパラダイムを用いた実験では、サルの学習に伴ってドーパミンニューロンの反応が変化することが報告されている[41]。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は、学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動に低下がみられる[42]。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している[8]。さらに、阻止効果の実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが報告されおり[43] [44]、近年ではオプトジェネティクスやマイクロスティミュレーションを用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることが報告されている[45] 。これらのこともまたドーパミン報酬予測誤差仮説を支持している。

　このようなドーパミンニューロンの活動は、学習信号となって報酬期待の神経活動をみせる脳領域の活動を調整している可能性がある。ドーパミンニューロンが活動するとことで起こるドーパミンの放出は、投射先の神経細胞のシナプス強度を調節する[46] [47] [48]。実際、ドーパミンニューロンは、前述の報酬期待の神経活動が報告されている脳領域の多くに投射しており[7] [8]、投射先のドーパミン濃度は報酬予測誤差を反映するよう調節される[49]。これらのことは、報酬予測誤差を反映したドーパミンニューロンの活動が投射先のシナプス強度を調節することで、報酬予測に関連した学習が起こることを示唆している。

　近年では、報酬期待の神経活動が見られる線条体でも、報酬予測誤差を反映するような神経活動が報告されており[50]。、また手綱外側核では、ドーパミンニューロンとは逆に嫌悪刺激などに関連して負の報酬予測誤差を反映する神経活動が報告されている[51]。これらの神経活動もなんらかの形で報酬予測に関連する活動の調整に関与しているとみられるが、その詳細はまだわかっていない。さらに、報酬予測誤差そのものが脳でどのように計算されているのかという問題も今後の研究が俟たれている[2]。

参考文献

  1. ↑ 1.0 1.1 1.2 Mark E Bouton
    Learning and behavior: A contemporary synthesis Second Edition
    Sinauer Associates: 2007
  2. ↑ 2.0 2.1 2.2 2.3 筒井健一郎、大山佳
    報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳
    苧坂直行編、新曜社（東京）:2014
  3. ↑ Peter Dayan,‎ L. F. Abbott
    Theoretical Neuroscience - Computational and Mathematical Modeling of Neural Systems
    The MIT Press: 2001
  4. ↑ O L Tinklepaugh
    An experimental study of representative factors in monkeys.
    J. Comp. Psychol.: 1928, (8);197-236
  5. ↑ 5.0 5.1 Watanabe, M. (1996).
    Reward expectancy in primate prefrontal neurons. Nature, 382(6592), 629-32. [PubMed:8757133] [WorldCat] [DOI]
  6. ↑ 6.0 6.1 Hassani, O.K., Cromwell, H.C., & Schultz, W. (2001).
    Influence of expectation of different rewards on behavior-related neuronal activity in the striatum. Journal of neurophysiology, 85(6), 2477-89. [PubMed:11387394] [WorldCat] [DOI]
  7. ↑ 7.0 7.1 7.2 7.3 7.4 Hikosaka, O., Nakamura, K., & Nakahara, H. (2006).
    Basal ganglia orient eyes to reward. Journal of neurophysiology, 95(2), 567-84. [PubMed:16424448] [WorldCat] [DOI]
  8. ↑ 8.0 8.1 8.2 8.3 Schultz, W. (2006).
    Behavioral theories and the neurophysiology of reward. Annual review of psychology, 57, 87-115. [PubMed:16318590] [WorldCat] [DOI]
  9. ↑ Schultz, W., Apicella, P., Scarnati, E., & Ljungberg, T. (1992).
    Neuronal activity in monkey ventral striatum related to the expectation of reward. The Journal of neuroscience : the official journal of the Society for Neuroscience, 12(12), 4595-610. [PubMed:1464759] [WorldCat]
  10. ↑ Hikosaka, O., Sakamoto, M., & Usui, S. (1989).
    Functional properties of monkey caudate neurons. III. Activities related to expectation of target and reward. Journal of neurophysiology, 61(4), 814-32. [PubMed:2723722] [WorldCat] [DOI]
  11. ↑ 11.0 11.1 Kawagoe, R., Takikawa, Y., & Hikosaka, O. (1998).
    Expectation of reward modulates cognitive signals in the basal ganglia. Nature neuroscience, 1(5), 411-6. [PubMed:10196532] [WorldCat] [DOI]
  12. ↑ 12.0 12.1 Lauwereyns, J., Watanabe, K., Coe, B., & Hikosaka, O. (2002).
    A neural correlate of response bias in monkey caudate nucleus. Nature, 418(6896), 413-7. [PubMed:12140557] [WorldCat] [DOI]
  13. ↑ Samejima, K., Ueda, Y., Doya, K., & Kimura, M. (2005).
    Representation of action-specific reward values in the striatum. Science (New York, N.Y.), 310(5752), 1337-40. [PubMed:16311337] [WorldCat] [DOI]
  14. ↑ Lau, B., & Glimcher, P.W. (2008).
    Value representations in the primate striatum during matching behavior. Neuron, 58(3), 451-63. [PubMed:18466754] [PMC] [WorldCat] [DOI]
  15. ↑ Bowman, E.M., Aigner, T.G., & Richmond, B.J. (1996).
    Neural signals in the monkey ventral striatum related to motivation for juice and cocaine rewards. Journal of neurophysiology, 75(3), 1061-73. [PubMed:8867118] [WorldCat] [DOI]
  16. ↑ Tachibana, Y., & Hikosaka, O. (2012).
    The primate ventral pallidum encodes expected reward value and regulates motor action. Neuron, 76(4), 826-37. [PubMed:23177966] [PMC] [WorldCat] [DOI]
  17. ↑ Cohen, J.Y., Haesler, S., Vong, L., Lowell, B.B., & Uchida, N. (2012).
    Neuron-type-specific signals for reward and punishment in the ventral tegmental area. Nature, 482(7383), 85-8. [PubMed:22258508] [PMC] [WorldCat] [DOI]
  18. ↑ Sato, M., & Hikosaka, O. (2002).
    Role of primate substantia nigra pars reticulata in reward-oriented saccadic eye movement. The Journal of neuroscience : the official journal of the Society for Neuroscience, 22(6), 2363-73. [PubMed:11896175] [PMC] [WorldCat]
  19. ↑ Paton, J.J., Belova, M.A., Morrison, S.E., & Salzman, C.D. (2006).
    The primate amygdala represents the positive and negative value of visual stimuli during learning. Nature, 439(7078), 865-70. [PubMed:16482160] [PMC] [WorldCat] [DOI]
  20. ↑ Belova, M.A., Paton, J.J., Morrison, S.E., & Salzman, C.D. (2007).
    Expectation modulates neural responses to pleasant and aversive stimuli in primate amygdala. Neuron, 55(6), 970-84. [PubMed:17880899] [PMC] [WorldCat] [DOI]
  21. ↑ Ikeda, T., & Hikosaka, O. (2003).
    Reward-dependent gain and bias of visual responses in primate superior colliculus. Neuron, 39(4), 693-700. [PubMed:12925282] [WorldCat] [DOI]
  22. ↑ Okada, K., Toyama, K., Inoue, Y., Isa, T., & Kobayashi, Y. (2009).
    Different pedunculopontine tegmental neurons signal predicted and actual task rewards. The Journal of neuroscience : the official journal of the Society for Neuroscience, 29(15), 4858-70. [PubMed:19369554] [PMC] [WorldCat] [DOI]
  23. ↑ Nakamura, K., Matsumoto, M., & Hikosaka, O. (2008).
    Reward-dependent modulation of neuronal activity in the primate dorsal raphe nucleus. The Journal of neuroscience : the official journal of the Society for Neuroscience, 28(20), 5331-43. [PubMed:18480289] [PMC] [WorldCat] [DOI]
  24. ↑ Ranade, S.P., & Mainen, Z.F. (2009).
    Transient firing of dorsal raphe neurons encodes diverse and specific sensory, motor, and reward events. Journal of neurophysiology, 102(5), 3026-37. [PubMed:19710375] [WorldCat] [DOI]
  25. ↑ Inoue, M., Oomura, Y., Aou, S., Nishino, H., & Sikdar, S.K. (1985).
    Reward related neuronal activity in monkey dorsolateral prefrontal cortex during feeding behavior. Brain research, 326(2), 307-12. [PubMed:3971157] [WorldCat] [DOI]
  26. ↑ Leon, M.I., & Shadlen, M.N. (1999).
    Effect of expected reward magnitude on the response of neurons in the dorsolateral prefrontal cortex of the macaque. Neuron, 24(2), 415-25. [PubMed:10571234] [WorldCat] [DOI]
  27. ↑ 27.0 27.1 Roesch, M.R., & Olson, C.R. (2003).
    Impact of expected reward on neuronal activity in prefrontal cortex, frontal and supplementary eye fields and premotor cortex. Journal of neurophysiology, 90(3), 1766-89. [PubMed:12801905] [WorldCat] [DOI]
  28. ↑ Tremblay, L., & Schultz, W. (1999).
    Relative reward preference in primate orbitofrontal cortex. Nature, 398(6729), 704-8. [PubMed:10227292] [WorldCat] [DOI]
  29. ↑ Rolls, E.T., Critchley, H.D., Mason, R., & Wakeman, E.A. (1996).
    Orbitofrontal cortex neurons: role in olfactory and visual association learning. Journal of neurophysiology, 75(5), 1970-81. [PubMed:8734596] [WorldCat] [DOI]
  30. ↑ 30.0 30.1 Roesch, M.R., & Olson, C.R. (2004).
    Neuronal activity related to reward value and motivation in primate frontal cortex. Science (New York, N.Y.), 304(5668), 307-10. [PubMed:15073380] [WorldCat] [DOI]
  31. ↑ 31.0 31.1 Padoa-Schioppa, C., & Assad, J.A. (2006).
    Neurons in the orbitofrontal cortex encode economic value. Nature, 441(7090), 223-6. [PubMed:16633341] [PMC] [WorldCat] [DOI]
  32. ↑ 32.0 32.1 Padoa-Schioppa, C., & Assad, J.A. (2008).
    The representation of economic value in the orbitofrontal cortex is invariant for changes of menu. Nature neuroscience, 11(1), 95-102. [PubMed:18066060] [PMC] [WorldCat] [DOI]
  33. ↑ Platt, M.L., & Glimcher, P.W. (1999).
    Neural correlates of decision variables in parietal cortex. Nature, 400(6741), 233-8. [PubMed:10421364] [WorldCat] [DOI]
  34. ↑ Sugrue, L.P., Corrado, G.S., & Newsome, W.T. (2004).
    Matching behavior and the representation of value in the parietal cortex. Science (New York, N.Y.), 304(5678), 1782-7. [PubMed:15205529] [WorldCat] [DOI]
  35. ↑ Shidara, M., & Richmond, B.J. (2002).
    Anterior cingulate: single neuronal signals related to degree of reward expectancy. Science (New York, N.Y.), 296(5573), 1709-11. [PubMed:12040201] [WorldCat] [DOI]
  36. ↑ Asahi, T., Uwano, T., Eifuku, S., Tamura, R., Endo, S., Ono, T., & Nishijo, H. (2006).
    Neuronal responses to a delayed-response delayed-reward go/nogo task in the monkey posterior insular cortex. Neuroscience, 143(2), 627-39. [PubMed:16979828] [WorldCat] [DOI]
  37. ↑ Mizuhiki, T., Richmond, B.J., & Shidara, M. (2012).
    Encoding of reward expectation by monkey anterior insular neurons. Journal of neurophysiology, 107(11), 2996-3007. [PubMed:22402653] [PMC] [WorldCat] [DOI]
  38. ↑ Mansouri, F.A., Tanaka, K., & Buckley, M.J. (2009).
    Conflict-induced behavioural adjustment: a clue to the executive functions of the prefrontal cortex. Nature reviews. Neuroscience, 10(2), 141-52. [PubMed:19153577] [WorldCat] [DOI]
  39. ↑ Philippe Domenech, Etienne Koechlin
    Executive control and decision-making in the prefrontal cortex.
    Curr. Opin. Behav. Sci.: 2015, (1);101-106
  40. ↑ Schultz, W., Dayan, P., & Montague, P.R. (1997).
    A neural substrate of prediction and reward. Science (New York, N.Y.), 275(5306), 1593-9. [PubMed:9054347] [WorldCat] [DOI]
  41. ↑ Mirenowicz, J., & Schultz, W. (1994).
    Importance of unpredictability for reward responses in primate dopamine neurons. Journal of neurophysiology, 72(2), 1024-7. [PubMed:7983508] [WorldCat] [DOI]
  42. ↑ Hollerman, J.R., & Schultz, W. (1998).
    Dopamine neurons report an error in the temporal prediction of reward during learning. Nature neuroscience, 1(4), 304-9. [PubMed:10195164] [WorldCat] [DOI]
  43. ↑ Waelti, P., Dickinson, A., & Schultz, W. (2001).
    Dopamine responses comply with basic assumptions of formal learning theory. Nature, 412(6842), 43-8. [PubMed:11452299] [WorldCat] [DOI]
  44. ↑ Nakahara, H., Itoh, H., Kawagoe, R., Takikawa, Y., & Hikosaka, O. (2004).
    Dopamine neurons can represent context-dependent prediction error. Neuron, 41(2), 269-80. [PubMed:14741107] [WorldCat] [DOI]
  45. ↑ Schultz, W., Stauffer, W.R., & Lak, A. (2017).
    The phasic dopamine signal maturing: from reward via behavioural activation to formal economic utility. Current opinion in neurobiology, 43, 139-148. [PubMed:28390863] [WorldCat] [DOI]
  46. ↑ Reynolds, J.N., & Wickens, J.R. (2002).
    Dopamine-dependent plasticity of corticostriatal synapses. Neural networks : the official journal of the International Neural Network Society, 15(4-6), 507-21. [PubMed:12371508] [WorldCat]
  47. ↑ Calabresi, P., Picconi, B., Tozzi, A., & Di Filippo, M. (2007).
    Dopamine-mediated regulation of corticostriatal synaptic plasticity. Trends in neurosciences, 30(5), 211-9. [PubMed:17367873] [WorldCat] [DOI]
  48. ↑ Yagishita, S., Hayashi-Takagi, A., Ellis-Davies, G.C., Urakubo, H., Ishii, S., & Kasai, H. (2014).
    A critical time window for dopamine actions on the structural plasticity of dendritic spines. Science (New York, N.Y.), 345(6204), 1616-20. [PubMed:25258080] [PMC] [WorldCat] [DOI]
  49. ↑ Day, J.J., Roitman, M.F., Wightman, R.M., & Carelli, R.M. (2007).
    Associative learning mediates dynamic shifts in dopamine signaling in the nucleus accumbens. Nature neuroscience, 10(8), 1020-8. [PubMed:17603481] [WorldCat] [DOI]
  50. ↑ Oyama, K., Hernádi, I., Iijima, T., & Tsutsui, K. (2010).
    Reward prediction error coding in dorsal striatal neurons. The Journal of neuroscience : the official journal of the Society for Neuroscience, 30(34), 11447-57. [PubMed:20739566] [PMC] [WorldCat] [DOI]
  51. ↑ Matsumoto, M., & Hikosaka, O. (2007).
    Lateral habenula as a source of negative reward signals in dopamine neurons. Nature, 447(7148), 1111-5. [PubMed:17522629] [WorldCat] [DOI]

（執筆者：望月泰博、福田玄明、陳冲、中原裕之、担当編集委員：？？）

「https://bsd.neuroinf.jp/w/index.php?title=報酬予測&oldid=37969」から取得