214
回編集
「報酬予測」の版間の差分
細
編集の要約なし
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
||
| 41行目: | 41行目: | ||
10196532 </pubmed></ref><ref name=hikosaka2006><pubmed> 16424448 </pubmed></ref>。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある<ref name=rosech2003><pubmed> 12801905 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。 | 10196532 </pubmed></ref><ref name=hikosaka2006><pubmed> 16424448 </pubmed></ref>。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある<ref name=rosech2003><pubmed> 12801905 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。 | ||
このような、報酬予期にかかわる神経活動がみられる脳領野は多岐にわたっている。大脳皮質下の領域では、線条体<ref><pubmed> 1464759 </pubmed></ref><ref name=hollerman1998><pubmed> 9705481 </pubmed></ref><ref name=hikosaka2006 /><ref name=kawagoe1998 /><ref name=cromwell2003><pubmed> 12611937 </pubmed></ref><ref><pubmed> 12140557 </pubmed></ref><ref name=hassani2001 /><ref><pubmed> | |||
16311337 </pubmed></ref><ref><pubmed> 18466754 </pubmed></ref><ref><pubmed> 8867118 </pubmed></ref><ref><pubmed> 2723722 </pubmed></ref><ref><pubmed> 9705482 </pubmed></ref>(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001; Ito & Doya, 2009; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002;)、淡蒼球<ref><pubmed> 23177966 </pubmed></ref>、中脳ドーパミン領域（腹側被蓋野<ref><pubmed> 22258508 </pubmed></ref>・黒質緻密部<ref><pubmed> 11896175 </pubmed></ref>）(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体<ref><pubmed> 16482160 </pubmed></ref><ref><pubmed> 17880899 </pubmed></ref>(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; )、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘<ref><pubmed> 12925282 </pubmed></ref>と脚橋被蓋核<ref><pubmed> 19369554 </pubmed></ref>、およびセロトニンニューロンを含む背側縫線核<ref><pubmed> 18480289 </pubmed></ref><ref><pubmed> 19710375 </pubmed></ref>などで報酬予期にかかわる脳活動が見られる。 | 16311337 </pubmed></ref><ref><pubmed> 18466754 </pubmed></ref><ref><pubmed> 8867118 </pubmed></ref><ref><pubmed> 2723722 </pubmed></ref><ref><pubmed> 9705482 </pubmed></ref>(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001; Ito & Doya, 2009; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002;)、淡蒼球<ref><pubmed> 23177966 </pubmed></ref>、中脳ドーパミン領域（腹側被蓋野<ref><pubmed> 22258508 </pubmed></ref>・黒質緻密部<ref><pubmed> 11896175 </pubmed></ref>）(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体<ref><pubmed> 16482160 </pubmed></ref><ref><pubmed> 17880899 </pubmed></ref>(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; )、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘<ref><pubmed> 12925282 </pubmed></ref>と脚橋被蓋核<ref><pubmed> 19369554 </pubmed></ref>、およびセロトニンニューロンを含む背側縫線核<ref><pubmed> 18480289 </pubmed></ref><ref><pubmed> 19710375 </pubmed></ref>などで報酬予期にかかわる脳活動が見られる。 | ||
また、大脳皮質領域では、前頭葉の中でも特に背外側前頭前皮質<ref name=watanabe1996 /><ref><pubmed> 3971157 </pubmed></ref><ref><pubmed> 10571234 </pubmed></ref> <ref name=rosech2003 />や眼窩前頭前皮質<ref><pubmed> 10227292 </pubmed></ref><ref><pubmed> 8734596 </pubmed></ref> <ref name=rosech2004 />(Gottfried et al., 2003; Padoa-Schioppa & Assad, 2006, 2008; )、後頭頂皮質<ref><pubmed> 10421364 </pubmed></ref><ref><pubmed> 15205529 </pubmed></ref>、前帯状回皮質<ref><pubmed> 12040201 </pubmed></ref>、島皮質<ref><pubmed> 16979828 </pubmed></ref><ref><pubmed> 22402653 | |||
</pubmed></ref>（Rolls et al., 2008）、運動前野<ref name=rosech2003 /><ref name=rosech2004 />などで報酬予期に関連した活動が報告されている。 | </pubmed></ref>（Rolls et al., 2008）、運動前野<ref name=rosech2003 /><ref name=rosech2004 />などで報酬予期に関連した活動が報告されている。 | ||
===ドーパミンニューロンの活動と報酬予測誤差=== | |||
近年、ドーパミンニューロンの活動が、強化学習の学習信号である報酬予測誤差を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref><pubmed> 9054347 </pubmed></ref>が注目されている。報酬予測誤差にもとづく学習則が、動物の報酬予測に関連した行動の変化をよく説明することは既に述べた。ドーパミンニューロンの活動は、動物の報酬予測にもとづく学習の学習信号として働いている可能性がある。 | |||
たとえば、パブロフ型条件づけのパラダイムを用いた実験では、動物の学習に伴ってドーパミンニューロンの反応が変化することが報告されている(Waelti et al, 2001; Day et al, 2007; D’ardenne et al., 2008)。ドーパミンニューロンは、学習の初期には報酬の提示直後に活動を増大させる。この反応は、学習が進むにつれ消失し、報酬を予測する刺激（CS）の呈示直後に増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動が低下する。これは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している。さらに、阻止効果の実験などでも、ドーパミンニューロンが強化学習の理論から予見される学習信号に対応するような活動の変化をみせることが報告されおり<ref><pubmed> 11452299 </pubmed></ref><ref><pubmed> 14741107 </pubmed></ref>、また近年では[[オプトジェネティクス]]やマイクロスティミュレーション（micro-stimulation）法を用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることが報告されている(Wolfram Schultz, Stauffer, & Lak, 2017)。これらのこともまたドーパミン報酬予測誤差仮説を支持している。 | |||
ドーパミンニューロンは、前述の報酬予測に関連する活動が報告されている脳領野の多くに投射している(Hikosaka et al., 2006; Wolfram Schultz, 2006)。たとえば、線条体・側坐核・前頭葉内側部などは、ドーパミンニューロンの投射を密に受ける典型的な領域である。このことから、報酬予測に関連して活動する脳領域は、ドーパミンニューロンの活動を学習信号として調整されていると考えられている。 | |||
このような活動の調整にはシナプス可塑性が重要な役割を果たす。実際、ドーパミンニューロンが活動することで起こるドーパミンの放出が、その投射先の神経細胞のシナプスの可塑性を修飾することが知られている(Calabresi, Picconi, Tozzi, & Di Filippo, 2007)河西ラボの論文」。このことから、ドーパミンニューロンの活動が報酬予測誤差の学習信号としてシナプス結合強度を調整することで、報酬に対する強化学習が起きていると考えられている(ref) 「「「Hn Wickensの論文」」」。 | |||
近年では、前述の報酬予測に関連した活動が見られる線条体でも、報酬予測誤差を反映する神経活動が報告されている(D'ardenne, McClure, Nystrom, & Cohen, 2008)（Oyama et al., 2010）。また、手綱外側核では、ドーパミンニューロンとは逆に報酬の欠知や嫌悪刺激など負の報酬予測誤差に関連する活動が報告されている(Bromberg-Martin, Matsumoto, Hong, & Hikosaka, 2010; Matsumoto & Hikosaka, 2007)。これらの神経活動もなんらかの形で報酬予測に関連する活動の調整に関与しているとみられるが、その詳細はまだわかっていない。さらに、報酬予測誤差が脳でどのように計算されるかという問題も今後の研究が待たれている（筒井、大山）。 | |||
[コメント] ventralとdorsal striatumを分ける | [コメント] ventralとdorsal striatumを分ける | ||