「報酬予測」の版間の差分

ナビゲーションに移動 検索に移動
編集の要約なし
編集の要約なし
編集の要約なし
30行目: 30行目:
 サルは、このような課題で手がかり刺激が呈示された側のボタンを押して報酬を得ることを学習する。これは、より多くの報酬をもたらす行動の頻度が増加するという、ソーンダイク(E. Thorndike)によって「効果の法則(Law of effect)」と名づけられた現象<ref name=bouton />の一例である。動物がより多くの報酬をもたらす行動を学習することは、行動の結果得られる報酬を予測していることを支持している。
 サルは、このような課題で手がかり刺激が呈示された側のボタンを押して報酬を得ることを学習する。これは、より多くの報酬をもたらす行動の頻度が増加するという、ソーンダイク(E. Thorndike)によって「効果の法則(Law of effect)」と名づけられた現象<ref name=bouton />の一例である。動物がより多くの報酬をもたらす行動を学習することは、行動の結果得られる報酬を予測していることを支持している。


 さらに、遅延選択課題でサルの好物であるバナナを報酬として条件付けを行った場合、報酬が突然レタスに変更されると、サルは驚きと怒りを見せる<ref>'''O L Tinklepaugh'''<br>An experimental study of representative factors in monkeys.<br>''J. Comp. Psychol.'': 1928, (8);197-236</ref>。これは、サルが学習の結果報酬としてバナナを期待するようになったことを支持している<ref><pubmed> 8757133 </pubmed></ref>。また、同様の実験パラダイムで、二種類の手がかり刺激がそれぞれ異なる報酬(異なる種類のジュース)と対応していることを学習したサルでは、嗜好性の高い報酬が得られる試行において、サルがより長い時間予期的なリッキング行動を続け、より短い反応時間とより高い正当率で回答することが報告されている<ref><pubmed> 11387394 </pubmed></ref>。これらのこともまた、サルが学習の結果報酬を予測していることを支持している。
 さらに、遅延選択課題でサルの好物であるバナナを報酬として条件付けを行った場合、報酬が突然レタスに変更されると、サルは驚きと怒りを見せる<ref>'''O L Tinklepaugh'''<br>An experimental study of representative factors in monkeys.<br>''J. Comp. Psychol.'': 1928, (8);197-236</ref>。これは、サルが学習の結果報酬としてバナナを期待するようになったことを支持している<ref><pubmed> 8757133 </pubmed></ref>。また、同様の実験パラダイムで、二種類の手がかり刺激がそれぞれ異なる報酬(異なる種類のジュース)と対応していることを学習したサルでは、嗜好性の高い報酬が得られる試行において、サルがより長い時間予期的なリッキング行動を続け、より短い反応時間とより高い正当率で回答することが報告されている<ref name=hassani2001><pubmed> 11387394 </pubmed></ref>。これらのこともまた、サルが学習の結果報酬を予測していることを支持している。


==報酬予測にかかわる神経活動==
==報酬予測にかかわる神経活動==
38行目: 38行目:
 これまでの多くの実験から、あたかも動物の報酬への期待を反映しているような神経活動が報告されている<ref>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第5巻・報酬を期待する脳<br>''苧坂直行編、新曜社(東京)'':2014</ref>。このような報酬予期にかかわる神経活動は、報酬を予測する情報(パブロフ型条件づけのCS・遅延反応課題の手がかり刺激など)が呈示された後、実際に報酬を獲得する間に増大し、さらに予測された報酬の量や好ましさを反映するという特徴を持つ<ref name=Schultz2006><pubmed> 16318590 </pubmed></ref>。
 これまでの多くの実験から、あたかも動物の報酬への期待を反映しているような神経活動が報告されている<ref>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第5巻・報酬を期待する脳<br>''苧坂直行編、新曜社(東京)'':2014</ref>。このような報酬予期にかかわる神経活動は、報酬を予測する情報(パブロフ型条件づけのCS・遅延反応課題の手がかり刺激など)が呈示された後、実際に報酬を獲得する間に増大し、さらに予測された報酬の量や好ましさを反映するという特徴を持つ<ref name=Schultz2006><pubmed> 16318590 </pubmed></ref>。


 また、報酬予期にかかわる神経活動は、実験条件に応じて知覚→認知→運動(行動)の各段階に応じた修飾を受けることが多い。たとえば、パブロフ型条件づけのように動物が特定の刺激から報酬を予測する場合、刺激の特性を反映した反応が見られることがある。顕著な例として、刺激が視覚空間上のどこに呈示されるかに依存して、予期された報酬量に対応した活動を見せる神経細胞の報告がある<ref name=kawagoe1998><pubmed> 10196532</pubmed></ref><ref name=hikosaka2006><pubmed> 16424448</pubmed></ref>。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある<ref name=rosech2003><pubmed> 12801905 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。
 また、報酬予期にかかわる神経活動は、実験条件に応じて知覚→認知→運動(行動)の各段階に応じた修飾を受けることが多い。たとえば、パブロフ型条件づけのように動物が特定の刺激から報酬を予測する場合、刺激の特性を反映した反応が見られることがある。顕著な例として、刺激が視覚空間上のどこに呈示されるかに依存して、予期された報酬量に対応した活動を見せる神経細胞の報告がある<ref name=kawagoe1998><pubmed>  
10196532 </pubmed></ref><ref name=hikosaka2006><pubmed> 16424448 </pubmed></ref>。これは、知覚情報である報酬を予測する刺激の空間特性と、その刺激が予想する報酬への期待の両方が反映された神経活動と考えられる。同様に、道具的条件づけので動物が報酬予測にもとづき特定の行動を選択する場合にも、行動の空間的特性を反映した神経活動がみられることがある<ref name=rosech2003><pubmed> 12801905 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>。これは行動器の運動やその準備と報酬への期待の両方が神経活動に影響を与える場合である。


===報酬予期にかかわる脳領域===
===報酬予期にかかわる脳領域===
報酬予期にかかわる神経活動が見られる脳領野を概観する。大脳皮質下の領域では、大脳基底核回路(線条体,側坐核,黒質網様部,淡蒼球など)<ref name=hollerman1998><pubmed> 9705481 </pubmed></ref><ref name=hikosaka2006 /><ref name=kawagoe1998 /><ref name=cromwell2003><pubmed> 12611937 </pubmed></ref> <ref name=cromwell2003><pubmed> 12140557 </pubmed></ref>
報酬予期にかかわる神経活動が見られる脳領野を概観する。大脳皮質下の領域では、大脳基底核回路(線条体、側坐核、淡蒼球など)<ref name=hollerman1998><pubmed> 9705481 </pubmed></ref><ref name=hikosaka2006 /><ref name=kawagoe1998 /><ref name=cromwell2003><pubmed> 12611937 </pubmed></ref><ref><pubmed> 12140557 </pubmed></ref><ref name=hassani2001 /><ref><pubmed>
 
16311337  </pubmed></ref><ref><pubmed> 18466754 </pubmed></ref><ref><pubmed> 8867118 </pubmed></ref>(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001;  Ito & Doya, 2009; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002;)、中脳ドーパミン領域(黒質轍密部や腹側被蓋野)(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体<ref><pubmed> 16482160 </pubmed></ref>(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; )、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘(ref)と脚橋被蓋核<ref><pubmed> 19369554 </pubmed></ref>、およびセロトニンニューロンを含む背側縫線核<ref><pubmed> 18480289 </pubmed></ref><ref><pubmed> 19710375 </pubmed></ref>などで報酬予期にかかわる脳活動が見られる。
 
(Breiter, Aharon, Kahneman, Dale, & Shizgal, 2001; Hassani et al., 2001;  Ito & Doya, 2009; Lau & Glimcher, 2008; Lauwereyns, Watanabe, Coe, & Hikosaka, 2002; J. O'doherty et al., 2004; J. P. O'Doherty, Deichmann, Critchley, & Dolan, 2002; Samejima, Ueda, Doya, & Kimura, 2005)、そして中脳ドーパミン領域(黒質轍密部,腹側被蓋野を含む)(Mirenowicz & Schultz, 1994; J. P. O'Doherty et al., 2002; Waelti, Dickinson, & Schultz, 2001)や扁桃体(Breiter et al., 2001; Gottfried, O'Doherty, & Dolan, 2003; Nishijo, Ono, & Nishino, 1988; J. P. O'Doherty et al., 2002; Paton, Belova, Morrison, & Salzman, 2006)、報酬の価値に関連した活動をみせる視床下部(Breiter et al., 2001)、運動出力に関連する上丘(ref)と脚橋被蓋核(Okada, Toyama, Inoue, Isa, & Kobayashi, 2009)、およびセロトニンニューロンを含む背側縫線核[[[HN Nakamura Kae, Zach Mainen papers;matumoto hikosakaは変だろう]]](Matsumoto & Hikosaka, 2007)などで報酬予測に関連した脳活動が見られる。


また、大脳皮質領域では、前頭葉の中でも特に腹内側前頭前皮質や眼窩前頭前皮質(Gottfried et al., 2003; Padoa-Schioppa & Assad, 2006, 2008; Roesch & Olson, 2004; Rolls, Critchley, Mason, & Wakeman, 1996; Tremblay & Schultz, 1999; Watanabe, 1996)、頭頂葉(特に前頭連合野と頭頂連合野)(Platt & Glimcher, 1999; Sugrue, Corrado, & Newsome, 2004)、島皮質(Rolls et al., 2008)などで報酬予期に関連した活動が報告されている。
また、大脳皮質領域では、前頭葉の中でも特に腹内側前頭前皮質や眼窩前頭前皮質(Gottfried et al., 2003; Padoa-Schioppa & Assad, 2006, 2008; Roesch & Olson, 2004; Rolls, Critchley, Mason, & Wakeman, 1996; Tremblay & Schultz, 1999; Watanabe, 1996)、頭頂葉(特に前頭連合野と頭頂連合野)(Platt & Glimcher, 1999; Sugrue, Corrado, & Newsome, 2004)、島皮質(Rolls et al., 2008)などで報酬予期に関連した活動が報告されている。
214

回編集

案内メニュー