「報酬予測」の版間の差分

報酬予測 (ソースを閲覧)

2018年2月2日 (金) 16:39時点における版

サイズ変更なし、 2018年2月2日 (金)

細

編集の要約なし

Hiroyukinakahara

214

回編集

@@ 13行目: / 13行目: @@
 　さらに、パブロフ型条件づけ課題では、動物が報酬を期待していることを示す自発的反応もみられる。たとえば、動物はCSの提示に際してCSや報酬の提示場所へ近づく接近反応（approach response）をみせる<ref name=bouton>'''Mark E Bouton'''<br>Learning and behavior: A contemporary synthesis Second Edition<br>''Sinauer Associates'': 2007</ref>。また、ラットに報酬としてジュースを与える課題では、報酬が与えられる前に飲み口を予期的に舐めるリッキング（licking）行動がみられる<ref name=tsutsui>'''筒井健一郎、大山佳'''<br>報酬期待の神経科学、社会脳シリーズ第５巻・報酬を期待する脳<br>''苧坂直行編、新曜社（東京）'':2014</ref>。これらの報酬予測にもとづく報酬獲得の準備行動も、動物がCSにもとづき報酬を予測していることを支持している。
-　このような報酬予測にもとづく反応はどのように学習されるのだろうか？ ここでは、パブロフ型条件づけの課題で実際にみられる動物の行動をよく説明する「レスコーラ＝ワグナーの学習則」と呼ばれる[[強化学習]]の学習則を紹介する<ref>'''Peter Dayan,‎ L. F. Abbott'''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems <br>''The MIT Press'': 2001</ref>。
+　このような報酬予測にもとづく反応はどのように学習されるのだろうか？ ここでは、パブロフ型条件づけの課題で実際にみられる動物の行動をよく説明する「レスコーラ・ワグナーの学習則」と呼ばれる[[強化学習]]の学習則を紹介する<ref>'''Peter Dayan,‎ L. F. Abbott'''<br>Theoretical Neuroscience: Computational and Mathematical Modeling of Neural Systems <br>''The MIT Press'': 2001</ref>。
-　レスコーラ＝ワグナーの学習則では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差（reward prediction error）」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：
+　レスコーラ・ワグナーの学習則では、実際に得られた報酬量と予期された報酬量の差分である「報酬予測誤差（reward prediction error）」を学習信号として、今までの予期報酬を新たな予期報酬へと更新する：
 &nbsp;&nbsp;&nbsp;<i>新たな予期報酬　=　今までの予期報酬　+　学習係数　×　報酬予測誤差</i>
@@ 57行目: / 57行目: @@
 ===ドーパミンニューロンの活動と報酬予測誤差===
-　報酬予測誤差にもとづくレスコーラ＝ワグナーの学習則が、動物の報酬予測に関連した学習をよく説明することは既に述べた。このような学習の神経メカニズムとして、ドーパミンニューロンの活動が学習信号となって報酬期待の神経活動をみせる脳領域の活動を調整している可能性がある。
+　報酬予測誤差にもとづくレスコーラ・ワグナーの学習則が、動物の報酬予測に関連した学習をよく説明することは既に述べた。このような学習の神経メカニズムとして、ドーパミンニューロンの活動が学習信号となって報酬期待の神経活動をみせる脳領域の活動を調整している可能性がある。
 　近年、[[ドーパミンニューロン]]のphasic活動が、強化学習の学習則で一般に報酬予測誤差と呼ばれる学習信号を符号化しているとする「ドーパミン報酬予測誤差仮説」<ref name=schultz1997><pubmed> 9054347 </pubmed></ref>が注目されている。