214
回編集
「報酬予測」の版間の差分
細
編集の要約なし
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
||
| 1行目: | 1行目: | ||
英：Reward prediction | 英：Reward prediction | ||
{{box|text= | {{box|text= 報酬予測とは、ヒトを含む動物が、特定の情報から将来の報酬を予測することである。ここで「報酬」とは、食料・水などに代表される正の動機や感情を生む物質・出来事・状況・活動の総称であり、動物はより多くの報酬を得るために報酬を予測し、それにもとづく反応や行動選択をみせる。動物の脳では、報酬を予測する刺激の価値・報酬をもたらす行動の価値・報酬への期待のそれぞれを反映した神経活動が報告されており、これら活動はドーパミンニューロンによって調整されると考えられている。ここでは、動物がみせる報酬予測にもとづく反応と行動選択、そして報酬予測にかかわる神経活動について述べる。}} | ||
==報酬予測にかかわる行動== | ==報酬予測にかかわる行動== | ||
| 13行目: | 13行目: | ||
さらに、パブロフ型条件づけの実験では、動物が報酬を期待していることを示す自発的反応もみられる。たとえば、CSと報酬の獲得を学習した動物は、CSの提示に際してCSや報酬の提示場所へ近づく接近反応（approach response）をみせる<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、ジュースを報酬として与える課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング行動がみられる<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。これらの報酬獲得のための準備行動も、動物がCSにもとづき報酬を予測していることを支持している。 | さらに、パブロフ型条件づけの実験では、動物が報酬を期待していることを示す自発的反応もみられる。たとえば、CSと報酬の獲得を学習した動物は、CSの提示に際してCSや報酬の提示場所へ近づく接近反応（approach response）をみせる<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、ジュースを報酬として与える課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング行動がみられる<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。これらの報酬獲得のための準備行動も、動物がCSにもとづき報酬を予測していることを支持している。 | ||
報酬予測に関連してみられる反応は、[[強化学習]]の行動モデルがよく説明する。ここでは、パブロフ型条件づけにおける動物の反応の数理的モデルとして提唱された「レスコーラ・ワグナー・モデル（Rescorla–Wagner model）」の強化学習的な解釈を紹介する<ref>'''Peter Dayan, L. F. Abbott'''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems <br>''The MIT Press'': 2001</ref> <ref>'''Peter Dayan, Hiroyuki Nakahara'''<br>Models and Methods for Reinforcement Learning, The Stevens’ Handbook of Experimental Psychology<br>''Wiley'': 2017</ref>。 | |||
レスコーラ・ワグナー・モデルは、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差（reward prediction error）」を学習信号として、今までの予期報酬を新たな予期報酬へ更新する： | |||
<i>新たな予期報酬 = 今までの予期報酬 + 学習係数 × 報酬予測誤差</i> | <i>新たな予期報酬 = 今までの予期報酬 + 学習係数 × 報酬予測誤差</i> | ||
| 21行目: | 21行目: | ||
上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方に、負であれば（報酬が予想していたより少なければ）下方に修正される。 | 上式からわかるように、新たな予期報酬は、報酬予測誤差が正であれば（報酬が予想していたより多ければ）上方に、負であれば（報酬が予想していたより少なければ）下方に修正される。 | ||
レスコー・ラワグナー・モデルは、報酬予測誤差が小さくなるほど学習が遅くなり、誤差がないときに学習が起こらないことを予想している。これらのことは、パブロフ型条件づけの実験から実際に確認されている。たとえば、光が点灯すると餌がもらえることを学習したラットに対し、光と音を同時に呈示した後に餌を与えることを繰り返しても、音に対する学習は起こらない。これは「阻止効果（blocking effect）」と呼ばれている<ref name=bouton />。レスコー・ラワグナー・モデルでは、音に対する学習は起こらないことは、先に学習された光が餌の獲得を完全に予測するため、音が予測する餌の報酬予測誤差がゼロとなるからと解釈できる。 | |||
===道具的条件づけと行動選択=== | ===道具的条件づけと行動選択=== | ||
| 27行目: | 27行目: | ||
===遅延反応課題にみられる行動選択と反応=== | ===遅延反応課題にみられる行動選択と反応=== | ||
[[ファイル:報酬予測０.png|thumb|400px|'''図1．遅延反応課題のイメージ''']] | [[ファイル:報酬予測０.png|thumb|400px|'''図1．遅延反応課題のイメージ<ref name=watanabe1996 />''']] | ||
報酬予測に関連した行動を調べるためによく用いられる課題に、遅延選択課題がある（図1）。たとえば、サルが学習する典型的な遅延選択課題では、まず左右どちらかの手がかり刺激（cue stimulus）が点灯する。手がかり刺激が消えたあと、GO刺激（GO stimulus）が点灯すると、サルには左右どちらかのボタンを押すことが求められる。このとき、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースが与えられるが、逆側を押した場合には報酬が与えられない。 | 報酬予測に関連した行動を調べるためによく用いられる課題に、遅延選択課題がある（図1）。たとえば、サルが学習する典型的な遅延選択課題では、まず左右どちらかの手がかり刺激（cue stimulus）が点灯する。手がかり刺激が消えたあと、GO刺激（GO stimulus）が点灯すると、サルには左右どちらかのボタンを押すことが求められる。このとき、刺激が呈示されたのと同じ側のボタンを押した場合には報酬として餌やジュースが与えられるが、逆側を押した場合には報酬が与えられない。 | ||
| 38行目: | 38行目: | ||
[[ファイル:報酬予測1.png|thumb|400px|'''図2．遅延反応課題でみられる報酬予測にかかわる神経活動のイメージ'''<ref name=schultz2015 />（A）報酬を予測する刺激の価値を反映したニューロンの活動。（B）報酬をもたらす行動の価値を反映したニューロンの活動。（C）報酬への期待を反映したニューロンの活動。黄色と青色は、同じニューロンがそれぞれ嗜好性の高い報酬と低い報酬が予測される試行でみせる反応。]] | [[ファイル:報酬予測1.png|thumb|400px|'''図2．遅延反応課題でみられる報酬予測にかかわる神経活動のイメージ'''<ref name=schultz2015 />（A）報酬を予測する刺激の価値を反映したニューロンの活動。（B）報酬をもたらす行動の価値を反映したニューロンの活動。（C）報酬への期待を反映したニューロンの活動。黄色と青色は、同じニューロンがそれぞれ嗜好性の高い報酬と低い報酬が予測される試行でみせる反応。]] | ||
報酬予測にかかわる神経活動は、一般に[[報酬系]]と呼ばれる脳領域群をはじめとして、多様な脳領域でみられる<ref name=tsutsui /> <ref name=schultz2015 /> <ref name=schultz2006><pubmed> 16318590 </pubmed></ref> <ref name=hikosaka2006 />。ここでは、報酬予測にかかわる神経活動を、報酬を予測する刺激の価値を反映した神経活動（図2A）、報酬をもたらす行動の価値を反映した神経活動（図2B）、動物の報酬への期待を反映した神経活動（図2C）に分類し<ref name=tsutsui /> <ref name=schultz2015 /> | 報酬予測にかかわる神経活動は、一般に[[報酬系]]と呼ばれる脳領域群をはじめとして、多様な脳領域でみられる<ref name=tsutsui /> <ref name=schultz2015 /> <ref name=schultz2006><pubmed> 16318590 </pubmed></ref> <ref name=hikosaka2006 />。ここでは、報酬予測にかかわる神経活動を、報酬を予測する刺激の価値を反映した神経活動（図2A）、報酬をもたらす行動の価値を反映した神経活動（図2B）、動物の報酬への期待を反映した神経活動（図2C）に分類し<ref name=tsutsui /> <ref name=schultz2015 />、これらの神経活動がみられる領域を紹介する。そして最後に、報酬予測にかかわる神経活動を調整する学習信号と考えられている[[ドーパミンニューロン]]（dopaminergic neuron）の活動を紹介する。 | ||
===刺激や行動の価値の神経活動=== | ===刺激や行動の価値の神経活動=== | ||
| 49行目: | 49行目: | ||
12611937 </pubmed></ref>、扁桃体 <ref><pubmed> 3193171 </pubmed></ref> <ref><pubmed> 16482160 </pubmed></ref>、黒質緻密部<ref><pubmed> 3794777</pubmed></ref>、上丘<ref name=ikeda2003 />などで報告されている。 | 12611937 </pubmed></ref>、扁桃体 <ref><pubmed> 3193171 </pubmed></ref> <ref><pubmed> 16482160 </pubmed></ref>、黒質緻密部<ref><pubmed> 3794777</pubmed></ref>、上丘<ref name=ikeda2003 />などで報告されている。 | ||
また、道具的条件づけでは、本来意味を持たない行動が、行動と報酬の連合が学習されることでより多くの報酬をもたらす価値の高い行動となる。このような学習にともなう行動の価値の増加を反映するように、報酬をもたらす行動が遂行される前後で予想される報酬の好ましさに応じて活動を増大させるニューロンがみつかっている。 | |||
このような行動の価値を反映した神経活動は、線条体<ref name=hassani2001 /> <ref name=cromwell2003 /> <ref><pubmed> | このような行動の価値を反映した神経活動は、線条体<ref name=hassani2001 /> <ref name=cromwell2003 /> <ref><pubmed> | ||
| 63行目: | 63行目: | ||
</pubmed></ref>、運動前野<ref name=rosech2004 /> <ref name=rosech2003 />などで報酬期待の神経活動が報告されている。 | </pubmed></ref>、運動前野<ref name=rosech2004 /> <ref name=rosech2003 />などで報酬期待の神経活動が報告されている。 | ||
報酬期待の神経活動が動物の学習にともなって調節されるメカニズムは、詳細に理解されていない。報酬期待の神経活動は、刺激や行動の価値を反映した神経活動より時間的に遅れて高まることから（図2）、報酬期待の持続的な神経活動が価値に関連した神経活動によって引き起こされるメカニズムがあることが予想されるが<ref name=tsutsui />、その詳細は理解されていない。 | |||
===ドーパミンニューロンの活動と報酬予測誤差=== | ===ドーパミンニューロンの活動と報酬予測誤差=== | ||
これまで報酬予測に関連した学習の神経科学的研究は、ドーパミンニューロンのphasic活動が強化学習で一般に報酬予測誤差と呼ばれる学習信号を符号化しているとする「ドーパミン報酬予測誤差仮説（the dopamine reward prediction error hypothesis)」<ref name=schultz1997><pubmed> 9054347 </pubmed></ref>に牽引されてきた。ドーパミン報酬予測誤差仮説を支持する研究結果として、たとえば、サルのドーパミンニューロンの反応が学習に伴い変化することが知られている<ref name=schultz1997 /> <ref><pubmed> 7983508</pubmed></ref>。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動が低下する。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している<ref name=schultz2006 />。さらに、阻止効果に関する実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが報告されおり<ref><pubmed> 11452299 </pubmed></ref> <ref><pubmed> 14741107 </pubmed></ref>、また[[オプトジェネティクス]]を用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることも確認されている<ref><pubmed> 28390863 </pubmed></ref> 。 | |||
報酬予測誤差を反映したドーパミン動物の活動は、神経可塑性を介して脳における価値表現を調節していると考えられている。ドーパミンニューロンは、前述の刺激や行動の価値を反映した神経活動が報告されている脳領域の多くに投射しており<ref name=schultz2006 /> <ref name=hikosaka2006 />、ドーパミンニューロンの活動によってその投射先で起こるドーパミンの放出はシナプス強度を調節する<ref><pubmed> 11544526 </pubmed></ref> <ref><pubmed> 25258080</pubmed></ref>。 | |||
近年では、ドーパミンニューロンの他にも、線条体<ref name=oyama2010><pubmed> 20739566 </pubmed></ref>や内側前頭前皮質<ref><pubmed> 17450137 </pubmed></ref>で報酬予測誤差を反映した活動をみせる神経細胞が見つかっている。さらに、手綱外側核ではドーパミンニューロンとは逆に罰の予測に関連して負の報酬予測誤差を反映するニューロンが報告されている<ref><pubmed> 17522629 </pubmed></ref>。これらの神経活動もなんらかの形で報酬予測に関連する活動の調整に関与しているものと考えられるが、その詳細はまだわかっていない。さらに、報酬予測誤差そのものが脳でどのように計算されているのかという問題も今後の重要な研究の課題のひとつといえるだろう<ref name=tsutsui /> <ref name=cohen2012><pubmed> 22258508 </pubmed></ref> <ref name=nakamura2012><pubmed> 23136434 </pubmed></ref> <ref><pubmed> 23069349 </pubmed></ref> <ref><pubmed> 24463329 </pubmed></ref>。 | |||
== 関連項目 == | == 関連項目 == | ||