「報酬予測」の版間の差分
ナビゲーションに移動
検索に移動
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
Hiroyukinakahara (トーク | 投稿記録) 細編集の要約なし |
||
| 42行目: | 42行目: | ||
実際にこのような刺激や行動の価値を反映するようなニューロンの活動が、単一ニューロン活動を記録した実験で報告されている。特定の刺激や行動の価値を反映したニューロンの活動は、それぞれ刺激が呈示された際、そして行動の開始前後に上昇をみせるという特徴を持つ。また、どちらの場合も予測される報酬の大きさに応じた増大幅の活動増加をみせる。 | 実際にこのような刺激や行動の価値を反映するようなニューロンの活動が、単一ニューロン活動を記録した実験で報告されている。特定の刺激や行動の価値を反映したニューロンの活動は、それぞれ刺激が呈示された際、そして行動の開始前後に上昇をみせるという特徴を持つ。また、どちらの場合も予測される報酬の大きさに応じた増大幅の活動増加をみせる。 | ||
電気生理学的実験では、刺激の価値に関連した報酬予測の神経活動は、眼窩前頭皮質<ref name=Padoa-Schioppa2006> <ref><pubmed> 8734596 </pubmed></ref> <pubmed> 16633341 </pubmed></ref> <ref name=Tremblay1999><pubmed> 10227292 | 電気生理学的実験では、刺激の価値に関連した報酬予測の神経活動は、眼窩前頭皮質<ref name=Padoa-Schioppa2006> <ref><pubmed> 8734596 </pubmed></ref> <pubmed> 16633341 </pubmed></ref> <ref name=Tremblay1999><pubmed> 10227292 </pubmed></ref> <ref name=rosech2004><pubmed> 15073380 </pubmed></ref>、線条体<ref><pubmed> | ||
6589643 </pubmed></ref> <ref name=kawagoe1998> <ref name=hassani2001 /> 、扁桃体 | 6589643 </pubmed></ref> <ref name=kawagoe1998> <ref name=hassani2001 /> 、扁桃体 <ref><pubmed> 3193171 </pubmed></ref> <ref><pubmed> 16482160 </pubmed></ref>、中脳ドーパミン領域（腹側被蓋野・黒質緻密部<ref><pubmed> 3794777</pubmed></ref>）、上丘<ref name=ikeda2003 />、前帯状回皮質<ref><pubmed> 12040201 </pubmed></ref>などで報告されている。また、行動の価値に関連した報酬予測の神経活動は、線条体<ref><pubmed> | ||
14602819 </pubmed></ref>、後頭頂皮質<ref><pubmed> 15205529 </pubmed></ref>などで報告されている。 | 14602819 </pubmed></ref>、後頭頂皮質<ref><pubmed> 15205529 </pubmed></ref>などで報告されている。 | ||
| 52行目: | 52行目: | ||
報酬期待の神経活動がみられる脳領野は多岐にわたっている。大脳皮質下の領域では、線条体<ref><pubmed> 1464759 </pubmed></ref> <ref name=hikosaka2006 /> <ref><pubmed> 2723722 </pubmed></ref> <ref name=kawagoe1998 /> <ref name=samejima2005><pubmed> 12140557 </pubmed></ref> <ref><pubmed> | 報酬期待の神経活動がみられる脳領野は多岐にわたっている。大脳皮質下の領域では、線条体<ref><pubmed> 1464759 </pubmed></ref> <ref name=hikosaka2006 /> <ref><pubmed> 2723722 </pubmed></ref> <ref name=kawagoe1998 /> <ref name=samejima2005><pubmed> 12140557 </pubmed></ref> <ref><pubmed> | ||
16311337 </pubmed></ref> <ref><pubmed> 18466754 </pubmed></ref> <ref><pubmed> 8867118 </pubmed></ref>、淡蒼球<ref><pubmed> 23177966 </pubmed></ref> | 16311337 </pubmed></ref> <ref><pubmed> 18466754 </pubmed></ref> <ref><pubmed> 8867118 </pubmed></ref>、淡蒼球<ref><pubmed> 23177966 </pubmed></ref>、扁桃体 <ref name=schoenbaum1998><pubmed> 10195132 </pubmed></ref>、中脳ドーパミン領域（腹側被蓋野<ref><pubmed> 22258508 </pubmed></ref>・黒質緻密部<ref><pubmed> 11896175 </pubmed></ref>）、上丘<ref name=ikeda2003><pubmed> 12925282 </pubmed></ref>、脚橋被蓋核<ref><pubmed> 19369554 </pubmed></ref>、およびセロトニンニューロンを含む背側縫線核<ref><pubmed> 18480289 </pubmed></ref>などで報酬期待の神経活動が見られる。 | ||
また、大脳皮質では、背外側前頭前皮質<ref name=watanabe1996 /> <ref><pubmed> 3971157 </pubmed></ref> <ref><pubmed> 10571234 </pubmed></ref> <ref name=rosech2003><pubmed> 12801905 </pubmed></ref>、眼窩前頭前皮質 <ref name=Tremblay1999/> 、後頭頂皮質<ref><pubmed> 10421364 </pubmed></ref> <ref><pubmed> 15205529 </pubmed></ref>、前帯状回皮質<ref><pubmed> 12040201 </pubmed></ref>、島皮質<ref><pubmed> 16979828 </pubmed></ref> <ref><pubmed> 22402653 | また、大脳皮質では、背外側前頭前皮質<ref name=watanabe1996 /> <ref><pubmed> 3971157 </pubmed></ref> <ref><pubmed> 10571234 </pubmed></ref> <ref name=rosech2003><pubmed> 12801905 </pubmed></ref>、眼窩前頭前皮質 <ref name=Tremblay1999/> <ref name=schoenbaum1998>、後頭頂皮質<ref><pubmed> 10421364 </pubmed></ref> <ref><pubmed> 15205529 </pubmed></ref>、前帯状回皮質<ref><pubmed> 12040201 </pubmed></ref>、島皮質<ref><pubmed> 16979828 </pubmed></ref> <ref><pubmed> 22402653 | ||
</pubmed></ref>、運動前野<ref name=rosech2003 /> <ref name=rosech2004 />などで報酬期待の神経活動が報告されている。 | </pubmed></ref>、運動前野<ref name=rosech2003 /> <ref name=rosech2004 />などで報酬期待の神経活動が報告されている。 | ||
| 66行目: | 66行目: | ||
近年、[[ドーパミンニューロン]]の一過性の活動（phasic activity）が、強化学習の学習則で一般に報酬予測誤差と呼ばれる学習信号を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref name=schultz1997><pubmed> 9054347 </pubmed></ref>が注目されている。 | 近年、[[ドーパミンニューロン]]の一過性の活動（phasic activity）が、強化学習の学習則で一般に報酬予測誤差と呼ばれる学習信号を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref name=schultz1997><pubmed> 9054347 </pubmed></ref>が注目されている。 | ||
たとえば、道具的条件づけのパラダイムを用いた実験では、サルの学習に伴ってドーパミンニューロンの反応が変化することが報告されている<ref><pubmed> 7983508</pubmed></ref> | たとえば、道具的条件づけのパラダイムを用いた実験では、サルの学習に伴ってドーパミンニューロンの反応が変化することが報告されている<ref><pubmed> 7983508</pubmed></ref> <ref name=schultz1997 />。ドーパミンニューロンは、学習の初期には報酬の獲得にあわせて活動を増大させる。この反応は、学習が進むにつれ消失し、報酬を予測する手がかり刺激の呈示直後に活動が増大するようになる。また、予想された報酬が呈示されなかった場合には、報酬が予測された時刻の活動に低下がみられる。これらのことは、ドーパミンニューロンが正負の報酬予測誤差を両方向的に符号化していることを示唆している<ref name=schultz2006 />。さらに、阻止効果の実験でもドーパミンニューロンが強化学習の理論から予見される学習信号を反映した活動をみせることが報告されおり<ref><pubmed> 11452299 </pubmed></ref> <ref><pubmed> 14741107 </pubmed></ref>、近年では[[オプトジェネティクス]]やマイクロスティミュレーションを用いてドーパミンニューロンの活動を人為的に操作すると学習が阻害されることが報告されている<ref><pubmed> 28390863 </pubmed></ref> 。これらのこともまたドーパミン報酬予測誤差仮説を支持している。 | ||
ドーパミンニューロンが活動するとことで起こるドーパミンの放出は、投射先のニューロンのシナプス強度を調節する<ref><pubmed> 11544526 </pubmed></ref> <ref><pubmed> 17367873 </pubmed></ref> <ref><pubmed> 25258080</pubmed></ref>。実際、ドーパミンニューロンは、前述の報酬期待の神経活動が報告されている脳領域の多くに投射しており<ref name=hikosaka2006 /> <ref name=schultz2006 />、投射先のドーパミン濃度は報酬予測誤差を反映するよう調節される<ref><pubmed> 17603481 | ドーパミンニューロンが活動するとことで起こるドーパミンの放出は、投射先のニューロンのシナプス強度を調節する<ref><pubmed> 11544526 </pubmed></ref> <ref><pubmed> 17367873 </pubmed></ref> <ref><pubmed> 25258080</pubmed></ref>。実際、ドーパミンニューロンは、前述の報酬期待の神経活動が報告されている脳領域の多くに投射しており<ref name=hikosaka2006 /> <ref name=schultz2006 />、投射先のドーパミン濃度は報酬予測誤差を反映するよう調節される<ref><pubmed> 17603481 | ||