模倣学習 - 版の履歴

WikiSysop: /* 動物における模倣とミラーニューロンシステム */

2021-09-28T12:27:14Z

動物における模倣とミラーニューロンシステム

← 古い版		2021年9月28日 (火) 21:27時点における版
67行目:		67行目:
	*[[腹側運動前野]]（[[PMv]]）は、視覚運動表現において、第三者視点よりも本人の視点からの応答が強かった。マカクザルでは、この該当領域（[[F5]]）において、自己他者の視点の違いによらない行動認識とされていたことと異なる。		*[[腹側運動前野]]（[[PMv]]）は、視覚運動表現において、第三者視点よりも本人の視点からの応答が強かった。マカクザルでは、この該当領域（[[F5]]）において、自己他者の視点の違いによらない行動認識とされていたことと異なる。
	*[[前頭頂間溝]]（[[aIPS]]）は、[[視覚]]、[[運動]]、および[[心象]]のモダリティ全体を一般化することに関して、最も一貫した行動のコーディングを示した。このことは、ヒトミラーニューロンシステムの基本的なハブの可能性が高い。		*[[前頭頂間溝]]（[[aIPS]]）は、[[視覚]]、[[運動]]、および[[心象]]のモダリティ全体を一般化することに関して、最も一貫した行動のコーディングを示した。このことは、ヒトミラーニューロンシステムの基本的なハブの可能性が高い。
	*[[外側後頭側頭皮質]]（[[OT]]）の領域は、クロスモーダルでアクション固有、視点に依存しない行動表現を示している。伝統的にはこの領域は視覚の一部で、視覚運動、身体部位、物体形状などの隣接表現に関与してきたが、最近の多くの研究では、ハプティクス、運動行動、道具使用等の汎用領域であることを示唆する。よってこのOT領域は、ヒトミラーニューロンシステムの候補部分である。		*[[外側後頭側頭皮質]]（[[OT]]）の領域は、クロスモーダルでアクション固有、視点に依存しない行動表現を示している。伝統的にはこの領域は視覚の一部で、視覚運動、身体部位、物体形状などの隣接表現に関与してきたが、最近の多くの研究では、ハプティクス、運動行動、道具使用等の汎用領域であることを示唆する。よってこの外側後頭側頭皮質領域は、ヒトミラーニューロンシステムの候補部分である。
	*ミラーニューロンが（前）[[運動野]]で発見されたことで、[[前頭葉\|前頭]][[頭頂葉\|頭頂]]ヒトミラーニューロンシステムの直接マッピング機構仮説が唱えられたが、ヒトの運動野以外のクロスモーダルでアクション固有の表現が、上記の外側後頭側頭皮質や海馬にもあることが発見され、この仮説が不完全であることが明らかになった。		*ミラーニューロンが（前）[[運動野]]で発見されたことで、[[前頭葉\|前頭]][[頭頂葉\|頭頂]]ヒトミラーニューロンシステムの直接マッピング機構仮説が唱えられたが、ヒトの運動野以外のクロスモーダルでアクション固有の表現が、上記の外側後頭側頭皮質や海馬にもあることが発見され、この仮説が不完全であることが明らかになった。

WikiSysop: /* 動物における模倣とミラーニューロンシステム */

2021-09-28T12:26:24Z

動物における模倣とミラーニューロンシステム

← 古い版		2021年9月28日 (火) 21:26時点における版
59行目:		59行目:
	#観察した行動から模倣行動をどのようにマップするか？（対応付け問題）		#観察した行動から模倣行動をどのようにマップするか？（対応付け問題）
	#模倣の試みの成否をどのように評価するか？（成功の度合い）		#模倣の試みの成否をどのように評価するか？（成功の度合い）
	~~人工物による模倣学習では、これらの課題のほとんどを事前決定しているケースが多い。Herman~~<ref name=Herman2002>'''~~[[w:Louis Herman\|~~Louis M. Herman]] (2002).'''<br>Vocal, social, and self imitation by bottlenosed dolphins. In Kerstin Dautenhahn and Chrystopher L. Nehaniv, editors, Imitation in Animals and Artifacts, p. Chapter 3. The MIT Press. </ref>は、[[wj:ハンドウイルカ\|ハンドウイルカ]]の興味ある模倣行動について報告している。視覚や聴覚を始めとする多様なモダリティや形態の模倣行動、トレーナーのジェスチャーによる模倣行動制御、そして自己模倣などが含まれる。彼らは、即時に同時に相互模倣すること、さらに人間のジェスチャーを模倣する際、異なる身体部位を使うが、模倣自体は的確に表現されている。ハンドウイルカは上記の5つの課題を巧妙に解いているように見える（後半で述べる計算論的な枠組みでは、これらの課題に直接結びつくアプローチも提案されており、後で触れる）。		人工物による模倣学習では、これらの課題のほとんどを事前決定しているケースが多い。[[w:Louis Herman\|Herman]]<ref name=Herman2002>'''Louis M. Herman (2002).'''<br>Vocal, social, and self imitation by bottlenosed dolphins. In Kerstin Dautenhahn and Chrystopher L. Nehaniv, editors, Imitation in Animals and Artifacts, p. Chapter 3. The MIT Press. </ref>は、[[wj:ハンドウイルカ\|ハンドウイルカ]]の興味ある模倣行動について報告している。視覚や聴覚を始めとする多様なモダリティや形態の模倣行動、トレーナーのジェスチャーによる模倣行動制御、そして自己模倣などが含まれる。彼らは、即時に同時に相互模倣すること、さらに人間のジェスチャーを模倣する際、異なる身体部位を使うが、模倣自体は的確に表現されている。ハンドウイルカは上記の5つの課題を巧妙に解いているように見える（後半で述べる計算論的な枠組みでは、これらの課題に直接結びつくアプローチも提案されており、後で触れる）。

	これらは、特別のメカニズムによるのか、他者を含む環境との相互作用による創発行動なのかの議論がある。[[新生児模倣]]<ref name=Meltzoff1977><pubmed>897687</pubmed></ref>は、模倣の生得性を謳ったが、その後、多くの観察から、感覚運動学習の可能性が高くなっている（例えば、<ref name=Ray2011><pubmed>21159091</pubmed></ref>）。そして、'''図1'''でもすでに示されているように、模倣の進化の連続性の観点からは、共通のメカニズムとして、ミラーニューロンシステム<ref name=リゾラッティ2009>'''ジャコモ・リゾラッティ&コラド・シニガリア, 柴田裕之 (訳), 茂木健一郎 (監修) (2009).'''<br>『ミラーニューロン』. 紀伊国屋書店. </ref>が重要な役割を果たしているように見える。ミラーニューロンは[[マカクザル]]の[[下前頭回]]（[[F5領域]]）と[[下頭頂葉]]で発見され、運動の観測と実行を司るニューロンと称されてきた。そして、先に示した共感やメンタライジング、さらには、ヒトの[[ブローカ野]]に近いこともあり、言語能力にも関連しているとさえ言われてきた<ref name=Rizzolatti1998><pubmed> 9610880 </pubmed></ref>。これらは、過渡の期待であり、多くの懸念を示す研究者もいる<ref name=Hickok2009><pubmed>19199415</pubmed></ref>。行為理解に無関係ではないが、そのような高次の機能を担っていないとも言われている<ref name=Hickok2013><pubmed>23147121</pubmed></ref>。ミラーニューロンシステムの定義自体にもよるが、ヒトのミラーニューロンシステムの解析では、Oosterhof et al. <ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>は、multivariate pattern analysis (MVPA) <ref name=Mahmoudi2012><pubmed>23401720</pubmed></ref>を用いて、以下を示した（'''図2'''も参照）。		これらは、特別のメカニズムによるのか、他者を含む環境との相互作用による創発行動なのかの議論がある。[[新生児模倣]]<ref name=Meltzoff1977><pubmed>897687</pubmed></ref>は、模倣の生得性を謳ったが、その後、多くの観察から、感覚運動学習の可能性が高くなっている（例えば、<ref name=Ray2011><pubmed>21159091</pubmed></ref>）。そして、'''図1'''でもすでに示されているように、模倣の進化の連続性の観点からは、共通のメカニズムとして、ミラーニューロンシステム<ref name=リゾラッティ2009>'''ジャコモ・リゾラッティ&コラド・シニガリア, 柴田裕之 (訳), 茂木健一郎 (監修) (2009).'''<br>『ミラーニューロン』. 紀伊国屋書店. </ref>が重要な役割を果たしているように見える。ミラーニューロンは[[マカクザル]]の[[下前頭回]]（[[F5領域]]）と[[下頭頂葉]]で発見され、運動の観測と実行を司るニューロンと称されてきた。そして、先に示した共感やメンタライジング、さらには、ヒトの[[ブローカ野]]に近いこともあり、言語能力にも関連しているとさえ言われてきた<ref name=Rizzolatti1998><pubmed> 9610880 </pubmed></ref>。これらは、過渡の期待であり、多くの懸念を示す研究者もいる<ref name=Hickok2009><pubmed>19199415</pubmed></ref>。行為理解に無関係ではないが、そのような高次の機能を担っていないとも言われている<ref name=Hickok2013><pubmed>23147121</pubmed></ref>。ミラーニューロンシステムの定義自体にもよるが、ヒトのミラーニューロンシステムの解析では、Oosterhof et al. <ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>は、multivariate pattern analysis (MVPA) <ref name=Mahmoudi2012><pubmed>23401720</pubmed></ref>を用いて、以下を示した（'''図2'''も参照）。

WikiSysop: /* 最大エントロピー原理に基づく方法 */

2021-09-28T12:22:39Z

最大エントロピー原理に基づく方法

← 古い版		2021年9月28日 (火) 21:22時点における版
94行目:		94行目:
	現在の逆強化学習で最も基礎となる手法は[[最大エントロピー原理]]に基づく方法<ref name=Ziebart2008>'''B D Ziebart, A Maas, J A Bagnell, and A K Dey (2008).'''<br>Maximum entropy inverse reinforcement learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 1433-1438</ref>であり、これは強化学習の目的を単なる積算報酬最大化ではなく、方策の[[エントロピー]]を付与した報酬を最大化することに等しい。この方法は深層学習との統合も容易で、大規模なナビゲーション課題に適用された例<ref name=Wulfmeier2017>'''Markus Wulfmeier, Dushyant Rao, Dominic Zeng Wang, Peter Ondruska, and Ingmar Posner (2017).'''<br>Large-scale cost function learning for path planning using deep inverse reinforcement learning. International Journal of Robotics Research, 36:1073-87.</ref>もある。しかし最大エントロピー原理に基づく方法は環境の状態遷移確率が既知であると仮定していること、強化学習による方策最適化を繰り返し説くため計算効率が悪いことなどの問題点がある。		現在の逆強化学習で最も基礎となる手法は[[最大エントロピー原理]]に基づく方法<ref name=Ziebart2008>'''B D Ziebart, A Maas, J A Bagnell, and A K Dey (2008).'''<br>Maximum entropy inverse reinforcement learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 1433-1438</ref>であり、これは強化学習の目的を単なる積算報酬最大化ではなく、方策の[[エントロピー]]を付与した報酬を最大化することに等しい。この方法は深層学習との統合も容易で、大規模なナビゲーション課題に適用された例<ref name=Wulfmeier2017>'''Markus Wulfmeier, Dushyant Rao, Dominic Zeng Wang, Peter Ondruska, and Ingmar Posner (2017).'''<br>Large-scale cost function learning for path planning using deep inverse reinforcement learning. International Journal of Robotics Research, 36:1073-87.</ref>もある。しかし最大エントロピー原理に基づく方法は環境の状態遷移確率が既知であると仮定していること、強化学習による方策最適化を繰り返し説くため計算効率が悪いことなどの問題点がある。

	計算効率を大幅に改善した方法として、方策のエントロピーではなく、ベースライン方策の学習方策の[[相対エントロピー]]を用いた正則化に基づく方法が提案されている。特に[[線形可解マルコフ決定過程]]~~のもとでの逆強化学習法OptV~~<ref name=Dvijotham2010>'''Krishnamurthy Dvijotham and Emanuel Todorov (2010).'''<br>Proc. of the 27th international conference on machine learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 335-42. </ref>は[[状態価値関数]]の推定を経ることで逆強化学習の困難さが大幅に緩和できることを示した。またOptVを密度比推定の問題として定式化することで、状態遷移確率を明示的に必要としないモデルフリー逆強化学習法<ref name=Uchibe2018>'''Eiji Uchibe (2018).'''<br>Model-free deep inverse reinforcement learning by logistic regression. Neural Processing Letters, 47:891-905. </ref>も開発された。Yamaguchi et al. <ref name=Yamaguchi2018><pubmed>29718905</pubmed></ref>は[[線虫]](C''~~aenorhabditis~~ elegans''; ''C. elegans'')の[[温度走性行動]]をOptimize Value function (OptV)によって解析し、餌が十分ある状態で育った線虫は絶対温度と温度の時間微分に、飢餓状態で育った線虫は絶対温度のみに依存した報酬を感じていることを明らかにした。またAshida et al. <ref name=Ashida2019><pubmed>31082452</pubmed></ref>[43]は線虫の領域制限探索行動において[[ドーパミン]]が速度変化に影響を与えていることを示した。		計算効率を大幅に改善した方法として、方策のエントロピーではなく、ベースライン方策の学習方策の[[相対エントロピー]]を用いた正則化に基づく方法が提案されている。特に[[線形可解マルコフ決定過程]]のもとでの逆強化学習法Optimize Value function<ref name=Dvijotham2010>'''Krishnamurthy Dvijotham and Emanuel Todorov (2010).'''<br>Proc. of the 27th international conference on machine learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 335-42. </ref>は[[状態価値関数]]の推定を経ることで逆強化学習の困難さが大幅に緩和できることを示した。またOptimize Value functionを密度比推定の問題として定式化することで、状態遷移確率を明示的に必要としないモデルフリー逆強化学習法<ref name=Uchibe2018>'''Eiji Uchibe (2018).'''<br>Model-free deep inverse reinforcement learning by logistic regression. Neural Processing Letters, 47:891-905. </ref>も開発された。Yamaguchi et al. <ref name=Yamaguchi2018><pubmed>29718905</pubmed></ref>は[[線虫]](''Caenorhabditis elegans''; ''C. elegans'')の[[温度走性行動]]をOptimize Value functionによって解析し、餌が十分ある状態で育った線虫は絶対温度と温度の時間微分に、飢餓状態で育った線虫は絶対温度のみに依存した報酬を感じていることを明らかにした。またAshida et al. <ref name=Ashida2019><pubmed>31082452</pubmed></ref>[43]は線虫の領域制限探索行動において[[ドーパミン]]が速度変化に影響を与えていることを示した。

	===敵対的生成模倣学習に基づく方法===		===敵対的生成模倣学習に基づく方法===

WikiSysop: /* 最大エントロピー原理に基づく方法 */

2021-09-28T12:21:02Z

最大エントロピー原理に基づく方法

← 古い版		2021年9月28日 (火) 21:21時点における版
92行目:		92行目:
	逆強化学習は教示者の方策または教示者が環境と相互作用することによって得られる状態行動対の集合から、教示者の方策を最もうまく説明する報酬を推定する枠組みである。逆強化学習は不良設定問題であり、一般には唯一解をもたない。そのため様々な正則化法が提案されている。		逆強化学習は教示者の方策または教示者が環境と相互作用することによって得られる状態行動対の集合から、教示者の方策を最もうまく説明する報酬を推定する枠組みである。逆強化学習は不良設定問題であり、一般には唯一解をもたない。そのため様々な正則化法が提案されている。

	現在の逆強化学習で最も基礎となる手法は[[最大エントロピー原理]]に基づく方法<ref name=Ziebart2008>'''B D Ziebart, A Maas, J A Bagnell, and A K Dey (2008).'''<br>Maximum entropy inverse reinforcement learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 1433-1438</ref>であり、これは強化学習の目的を単なる積算報酬最大化ではなく、方策の[[エントロピー]]を付与した報酬を最大化することに等しい。この方法は深層学習との統合も容易で、大規模なナビゲーション課題に適用された例<ref name=Wulfmeier2017>'''Markus Wulfmeier, Dushyant Rao, Dominic Zeng Wang, Peter Ondruska, and Ingmar Posner (2017).'''<br>Large-scale cost function learning for path planning using deep inverse reinforcement learning. International Journal of Robotics Research, 36:1073-87.</ref>~~[39]~~もある。しかし最大エントロピー原理に基づく方法は環境の状態遷移確率が既知であると仮定していること、強化学習による方策最適化を繰り返し説くため計算効率が悪いことなどの問題点がある。		現在の逆強化学習で最も基礎となる手法は[[最大エントロピー原理]]に基づく方法<ref name=Ziebart2008>'''B D Ziebart, A Maas, J A Bagnell, and A K Dey (2008).'''<br>Maximum entropy inverse reinforcement learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 1433-1438</ref>であり、これは強化学習の目的を単なる積算報酬最大化ではなく、方策の[[エントロピー]]を付与した報酬を最大化することに等しい。この方法は深層学習との統合も容易で、大規模なナビゲーション課題に適用された例<ref name=Wulfmeier2017>'''Markus Wulfmeier, Dushyant Rao, Dominic Zeng Wang, Peter Ondruska, and Ingmar Posner (2017).'''<br>Large-scale cost function learning for path planning using deep inverse reinforcement learning. International Journal of Robotics Research, 36:1073-87.</ref>もある。しかし最大エントロピー原理に基づく方法は環境の状態遷移確率が既知であると仮定していること、強化学習による方策最適化を繰り返し説くため計算効率が悪いことなどの問題点がある。

	計算効率を大幅に改善した方法として、方策のエントロピーではなく、ベースライン方策の学習方策の[[相対エントロピー]]を用いた正則化に基づく方法が提案されている。特に[[線形可解マルコフ決定過程]]のもとでの逆強化学習法OptV<ref name=Dvijotham2010>'''Krishnamurthy Dvijotham and Emanuel Todorov (2010).'''<br>Proc. of the 27th international conference on machine learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 335-42. </ref>は[[状態価値関数]]の推定を経ることで逆強化学習の困難さが大幅に緩和できることを示した。またOptVを密度比推定の問題として定式化することで、状態遷移確率を明示的に必要としないモデルフリー逆強化学習法<ref name=Uchibe2018>'''Eiji Uchibe (2018).'''<br>Model-free deep inverse reinforcement learning by logistic regression. Neural Processing Letters, 47:891-905. </ref>も開発された。Yamaguchi et al. <ref name=Yamaguchi2018><pubmed>29718905</pubmed></ref>は[[線虫]](C''aenorhabditis elegans''; ''C. elegans'')の[[温度走性行動]]をOptimize Value function (OptV)によって解析し、餌が十分ある状態で育った線虫は絶対温度と温度の時間微分に、飢餓状態で育った線虫は絶対温度のみに依存した報酬を感じていることを明らかにした。またAshida et al. <ref name=Ashida2019><pubmed>31082452</pubmed></ref>[43]は線虫の領域制限探索行動において[[ドーパミン]]が速度変化に影響を与えていることを示した。		計算効率を大幅に改善した方法として、方策のエントロピーではなく、ベースライン方策の学習方策の[[相対エントロピー]]を用いた正則化に基づく方法が提案されている。特に[[線形可解マルコフ決定過程]]のもとでの逆強化学習法OptV<ref name=Dvijotham2010>'''Krishnamurthy Dvijotham and Emanuel Todorov (2010).'''<br>Proc. of the 27th international conference on machine learning. In Proc. of the 23rd AAAI Conference on Artificial Intelligence, pp. 335-42. </ref>は[[状態価値関数]]の推定を経ることで逆強化学習の困難さが大幅に緩和できることを示した。またOptVを密度比推定の問題として定式化することで、状態遷移確率を明示的に必要としないモデルフリー逆強化学習法<ref name=Uchibe2018>'''Eiji Uchibe (2018).'''<br>Model-free deep inverse reinforcement learning by logistic regression. Neural Processing Letters, 47:891-905. </ref>も開発された。Yamaguchi et al. <ref name=Yamaguchi2018><pubmed>29718905</pubmed></ref>は[[線虫]](C''aenorhabditis elegans''; ''C. elegans'')の[[温度走性行動]]をOptimize Value function (OptV)によって解析し、餌が十分ある状態で育った線虫は絶対温度と温度の時間微分に、飢餓状態で育った線虫は絶対温度のみに依存した報酬を感じていることを明らかにした。またAshida et al. <ref name=Ashida2019><pubmed>31082452</pubmed></ref>[43]は線虫の領域制限探索行動において[[ドーパミン]]が速度変化に影響を与えていることを示した。

2021年9月28日 (火) 12:16にWikiSysopによる

2021-09-28T12:16:32Z

差分を表示

WikiSysop: WikiSysop がページ「イミテーション・ラーニング」を「模倣学習」に移動しました

2021-09-28T11:42:28Z

WikiSysop がページ「イミテーション・ラーニング」を「模倣学習」に移動しました

← 古い版		2021年9月28日 (火) 20:42時点における版
(相違点なし)

WikiSysop: /* 動物における模倣とミラーニューロンシステム */

2021-09-28T04:35:42Z

動物における模倣とミラーニューロンシステム

← 古い版		2021年9月28日 (火) 13:35時点における版
60行目:		60行目:
	人工物による模倣学習では、これらの課題のほとんどを事前決定しているケースが多い。Herman <ref name=Herman2002>'''Louis M. Herman (2002).'''<br>Vocal, social, and self imitation by bottlenosed dolphins. In Kerstin Dautenhahn and Chrystopher L. Nehaniv, editors, Imitation in Animals and Artifacts, p. Chapter 3. The MIT Press. </ref>[8]は、ハンドウイルカの興味ある模倣行動について報告している。視覚や聴覚を始めとする多様なモダリティや形態の模倣行動、トレーナーのジェスチャーによる模倣行動制御、そして自己模倣などが含まれる。彼らは、即時に同時に相互模倣すること、さらに人間のジェスチャーを模倣する際、異なる身体部位を使うが、模倣自体は的確に表現されている。ハンドウイルカは上記の5つの課題を巧妙に解いているように見える（後半で述べる計算論的な枠組みでは、これらの課題に直接結びつくアプローチも提案されており、後で触れる）。		人工物による模倣学習では、これらの課題のほとんどを事前決定しているケースが多い。Herman <ref name=Herman2002>'''Louis M. Herman (2002).'''<br>Vocal, social, and self imitation by bottlenosed dolphins. In Kerstin Dautenhahn and Chrystopher L. Nehaniv, editors, Imitation in Animals and Artifacts, p. Chapter 3. The MIT Press. </ref>[8]は、ハンドウイルカの興味ある模倣行動について報告している。視覚や聴覚を始めとする多様なモダリティや形態の模倣行動、トレーナーのジェスチャーによる模倣行動制御、そして自己模倣などが含まれる。彼らは、即時に同時に相互模倣すること、さらに人間のジェスチャーを模倣する際、異なる身体部位を使うが、模倣自体は的確に表現されている。ハンドウイルカは上記の5つの課題を巧妙に解いているように見える（後半で述べる計算論的な枠組みでは、これらの課題に直接結びつくアプローチも提案されており、後で触れる）。

	これらは、特別のメカニズムによるのか、他者を含む環境との相互作用による創発行動なのかの議論がある。新生児模倣<ref name=Meltzoff1977><pubmed>897687</pubmed></ref>[9]は、模倣の生得性を謳ったが、その後、多くの観察から、感覚運動学習の可能性が高くなっている（例えば、<ref name=Ray2011><pubmed>21159091</pubmed></ref>[10]）。そして、'''図1'''~~でもすでに示されているように、模倣の進化の連続性の観点からは、共通のメカニズムとして、ミラーニューロンシステム（以降、MNSと略記）~~<ref name=リゾラッティ2009>'''ジャコモ・リゾラッティ&コラド・シニガリア, 柴田裕之 (訳), 茂木健一郎 (監修) (2009).'''<br>『ミラーニューロン』. 紀伊国屋書店. </ref>[11]が重要な役割を果たしているように見える。ミラーニューロンはマカクザルの下前頭回（F5領域）と下頭頂葉で発見され、運動の観測と実行を司るニューロンと称されてきた。そして、先に示した共感やメンタライジング、さらには、ヒトのブローカ野に近いこともあり、言語能力にも関連しているとさえ言われてきた<ref name=Rizzolatti1998><pubmed> 9610880 </pubmed></ref>[12]。これらは、過渡の期待であり、多くの懸念を示す研究者もいる<ref name=Hickok2009><pubmed>19199415</pubmed></ref>[13]。行為理解に無関係ではないが、そのような高次の機能を担っていないとも言われている<ref name=Hickok2013><pubmed>23147121</pubmed></ref>[14]~~。MNSの定義自体にもよるが、ヒトのMNSの解析では、Oosterhof~~ et al. <ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>[15]は、multivariate pattern analysis (MVPA) <ref name=Mahmoudi2012><pubmed>23401720</pubmed></ref>[16]を用いて、以下を示した（'''図2'''も参照）。		これらは、特別のメカニズムによるのか、他者を含む環境との相互作用による創発行動なのかの議論がある。新生児模倣<ref name=Meltzoff1977><pubmed>897687</pubmed></ref>[9]は、模倣の生得性を謳ったが、その後、多くの観察から、感覚運動学習の可能性が高くなっている（例えば、<ref name=Ray2011><pubmed>21159091</pubmed></ref>[10]）。そして、'''図1'''でもすでに示されているように、模倣の進化の連続性の観点からは、共通のメカニズムとして、ミラーニューロンシステム<ref name=リゾラッティ2009>'''ジャコモ・リゾラッティ&コラド・シニガリア, 柴田裕之 (訳), 茂木健一郎 (監修) (2009).'''<br>『ミラーニューロン』. 紀伊国屋書店. </ref>[11]が重要な役割を果たしているように見える。ミラーニューロンはマカクザルの下前頭回（F5領域）と下頭頂葉で発見され、運動の観測と実行を司るニューロンと称されてきた。そして、先に示した共感やメンタライジング、さらには、ヒトのブローカ野に近いこともあり、言語能力にも関連しているとさえ言われてきた<ref name=Rizzolatti1998><pubmed> 9610880 </pubmed></ref>[12]。これらは、過渡の期待であり、多くの懸念を示す研究者もいる<ref name=Hickok2009><pubmed>19199415</pubmed></ref>[13]。行為理解に無関係ではないが、そのような高次の機能を担っていないとも言われている<ref name=Hickok2013><pubmed>23147121</pubmed></ref>[14]。ミラーニューロンシステムの定義自体にもよるが、ヒトのミラーニューロンシステムの解析では、Oosterhof et al. <ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>[15]は、multivariate pattern analysis (MVPA) <ref name=Mahmoudi2012><pubmed>23401720</pubmed></ref>[16]を用いて、以下を示した（'''図2'''も参照）。

	[[ファイル:Asada Imitation Learning Fig2.png\|サムネイル\|'''図2 ヒトにおけるクロスモーダルでアクション固有の活動の本人／第三者視点の違いを示すスコア'''（文献<ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>[15]より改編）]]		[[ファイル:Asada Imitation Learning Fig2.png\|サムネイル\|'''図2 ヒトにおけるクロスモーダルでアクション固有の活動の本人／第三者視点の違いを示すスコア'''（文献<ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>[15]より改編）]]

	*腹側運動前野（PMv）は、視覚運動表現において、第三者視点よりも本人の視点からの応答が強かった。マカクザルでは、この該当領域（F5）において、自己他者の視点の違いによらない行動認識とされていたことと異なる。		*腹側運動前野（PMv）は、視覚運動表現において、第三者視点よりも本人の視点からの応答が強かった。マカクザルでは、この該当領域（F5）において、自己他者の視点の違いによらない行動認識とされていたことと異なる。
	*前頭頂間溝（aIPS）は、視覚、運動、および心象のモダリティ全体を一般化することに関して、最も一貫した行動のコーディングを示した。このことは、ヒトMNSの基本的なハブの可能性が高い。		*前頭頂間溝（aIPS）は、視覚、運動、および心象のモダリティ全体を一般化することに関して、最も一貫した行動のコーディングを示した。このことは、ヒトミラーニューロンシステムの基本的なハブの可能性が高い。
	*外側後頭側頭皮質（OT）の領域は、クロスモーダルでアクション固有、視点に依存しない行動表現を示している。伝統的にはこの領域は視覚の一部で、視覚運動、身体部位、物体形状などの隣接表現に関与してきたが、最近の多くの研究では、ハプティクス、運動行動、道具使用等の汎用領域であることを示唆する。よってこのOT領域は、ヒトMNSの候補部分である。		*外側後頭側頭皮質（OT）の領域は、クロスモーダルでアクション固有、視点に依存しない行動表現を示している。伝統的にはこの領域は視覚の一部で、視覚運動、身体部位、物体形状などの隣接表現に関与してきたが、最近の多くの研究では、ハプティクス、運動行動、道具使用等の汎用領域であることを示唆する。よってこのOT領域は、ヒトミラーニューロンシステムの候補部分である。
	*ミラーニューロンが（前）運動野で発見されたことで、前頭頭頂ヒトMNSの直接マッピング機構仮説が唱えられたが、ヒトの運動野以外のクロスモーダルでアクション固有の表現が、上記のOTや海馬にもあることが発見され、この仮説が不完全であることが明らかになった。		*ミラーニューロンが（前）運動野で発見されたことで、前頭頭頂ヒトミラーニューロンシステムの直接マッピング機構仮説が唱えられたが、ヒトの運動野以外のクロスモーダルでアクション固有の表現が、上記のOTや海馬にもあることが発見され、この仮説が不完全であることが明らかになった。

	加えて、クロスモーダルでアクション固有に応答するニューロンは従来唱えられていたミラーニューロンのメインの領域である前頭頂ネットワーク以外にも多く存在する（文献<ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>[15]）。例えば、てんかん患者21人のある行動の観察や実行時に対して、観察と実行の両方に反応する細胞が観測されている領域として、補足運動野（SMA）、海馬傍回（PHG）、海馬（H）が挙げられ<ref name=Mukamel2010><pubmed>20381353</pubmed></ref>[17]、情動や記憶とも密接に関連していると察せられる。その他の多くの領域においても、先の三領域ほど強くないが、観測されており、これらの領域では、より抽象的な表現がコードされ、一般的な連想機構が想定される。これらのことから、ミラーニューロンが特別なニューロンではなく、クロスモーダル性を示す多様なニューロン群の一種であり、マカクザルの場合は、他動詞的動作だったものが、ヒトの場合、自動詞的動作も含めた、より一般的な模倣行動生成メカニズムを、これらの多様なニューロン群が連携して実現しているとみなせる。これが、狭義のミラーニューロンが行動理解を担っていないという主張<ref name=Hickok2013><pubmed>23147121</pubmed></ref>[14]と一致する。		加えて、クロスモーダルでアクション固有に応答するニューロンは従来唱えられていたミラーニューロンのメインの領域である前頭頂ネットワーク以外にも多く存在する（文献<ref name=Oosterhof2013><pubmed>23746574</pubmed></ref>[15]）。例えば、てんかん患者21人のある行動の観察や実行時に対して、観察と実行の両方に反応する細胞が観測されている領域として、補足運動野、海馬傍回、海馬が挙げられ<ref name=Mukamel2010><pubmed>20381353</pubmed></ref>[17]、情動や記憶とも密接に関連していると察せられる。その他の多くの領域においても、先の三領域ほど強くないが、観測されており、これらの領域では、より抽象的な表現がコードされ、一般的な連想機構が想定される。これらのことから、ミラーニューロンが特別なニューロンではなく、クロスモーダル性を示す多様なニューロン群の一種であり、マカクザルの場合は、他動詞的動作だったものが、ヒトの場合、自動詞的動作も含めた、より一般的な模倣行動生成メカニズムを、これらの多様なニューロン群が連携して実現しているとみなせる。これが、狭義のミラーニューロンが行動理解を担っていないという主張<ref name=Hickok2013><pubmed>23147121</pubmed></ref>[14]と一致する。

	ヒトの場合、広範なネットワーク構造により、疑似模倣から真の模倣に至る発達過程を通じて、文化的・社会的環境の下で多様な模倣行動を表出していると考えられる。		ヒトの場合、広範なネットワーク構造により、疑似模倣から真の模倣に至る発達過程を通じて、文化的・社会的環境の下で多様な模倣行動を表出していると考えられる。

WikiSysop: /* 付録：運動、行動、行為などの定義 */

2021-09-28T04:31:45Z

付録：運動、行動、行為などの定義

← 古い版		2021年9月28日 (火) 13:31時点における版
105行目:		105行目:
	* 主体(agent)：「～を発生し司るもの」（～には動作、行為、行動などがはいる）。生物やロボットの総称と思えばよい。運動(movement)：空間中における物体の連続的な位置姿勢変化や形状変化と振動。。物理学用語での運動と同じ。方向、速度、軌道、振幅、周波数などを持つ。		* 主体(agent)：「～を発生し司るもの」（～には動作、行為、行動などがはいる）。生物やロボットの総称と思えばよい。運動(movement)：空間中における物体の連続的な位置姿勢変化や形状変化と振動。。物理学用語での運動と同じ。方向、速度、軌道、振幅、周波数などを持つ。
	* 動作(motion)：主体が発生する運動で、関係性（何かに向かう／離れるなど）、定型性や周期性（同じ運動を繰り返すなど）などの観点で一貫した単位ごとに分節化(articulation / segmentation:区切ること) でき、ある単位から別の単位への変化があるもの（そこに主体性がある）。（一般には行為(action) と区別されずに使われることも多い。）		* 動作(motion)：主体が発生する運動で、関係性（何かに向かう／離れるなど）、定型性や周期性（同じ運動を繰り返すなど）などの観点で一貫した単位ごとに分節化(articulation / segmentation:区切ること) でき、ある単位から別の単位への変化があるもの（そこに主体性がある）。（一般には行為(action) と区別されずに使われることも多い。）
	* 行為(action)：主体が意図する目的と、その達成にむけて発生する（一連の）動作とその結果、およびそれら（目的、動作、結果）を結ぶ因果関係からなる一まとまりの構造[3]。行為の主体を行為主体(actor / action agent)と呼ぶ。（英語のaction は、下記の行動の意味で使うことも多い）		* 行為(action)：主体が意図する目的と、その達成にむけて発生する（一連の）動作とその結果、およびそれら（目的、動作、結果）を結ぶ因果関係からなる一まとまりの構造<ref name=銅谷賢治2007 />[3]。行為の主体を行為主体(actor / action agent)と呼ぶ。（英語のaction は、下記の行動の意味で使うことも多い）
	* 行動(behavior)：行為のうち、外部から観測可能な部分、すなわち、（一連の）動作とその結果。（結果を含めずに動作の部分だけを指すことも多い。また、日本語ではaction の訳として「行動」を使うことも多い。観測者の視点からは行為と行動の区別はない。）「行動する主体」を行動主体または行動体(behavior agent) というが、この呼び方においては、主体の意図や判断などの内部状態や内部機構を特定しない。		* 行動(behavior)：行為のうち、外部から観測可能な部分、すなわち、（一連の）動作とその結果。（結果を含めずに動作の部分だけを指すことも多い。また、日本語ではaction の訳として「行動」を使うことも多い。観測者の視点からは行為と行動の区別はない。）「行動する主体」を行動主体または行動体(behavior agent) というが、この呼び方においては、主体の意図や判断などの内部状態や内部機構を特定しない。
	* 振舞い(behavior)：一定の環境・状況のもとで同一の主体が発生する（一連の）行動。環境、状況、主体のどれかが変われば別の振舞いとなる。「行動」より時空間的に広がりがあるが、「行動」と同義に使うことも多い。		* 振舞い(behavior)：一定の環境・状況のもとで同一の主体が発生する（一連の）行動。環境、状況、主体のどれかが変われば別の振舞いとなる。「行動」より時空間的に広がりがあるが、「行動」と同義に使うことも多い。

2021年9月28日 (火) 04:02にWikiSysopによる

2021-09-28T04:02:55Z

← 古い版		2021年9月28日 (火) 13:02時点における版
1行目:		1行目:
	浅田稔(大阪国際工科専門職大学，大阪大学先導的学際研究機構共生知能システム研究センター)		<div align="right">
	内部英治(株式会社国際電気通信基礎技術研究所脳情報研究所)		<font size="+1">[https://researchmap.jp/minoruasada 浅田稔]</font><br>
			''大阪国際工科専門職大学，大阪大学先導的学際研究機構共生知能システム研究センター''<br>
			<font size="+1">[https://researchmap.jp/uchibe 内部英治]</font><br>
			''株式会社国際電気通信基礎技術研究所脳情報研究所''<br>

			DOI：<selfdoi />　原稿受付日：2021年9月23日　原稿完成日：2021年9月27日<br>
			担当編集委員：[http://researchmap.jp/123qweasd 五味裕章]（NTTコミュニケーション科学基礎研究所人間情報研究部）<br>
			</div>

	英：imitation learning		英：imitation learning
	~~イミテーション・ラーニング~~
	~~浅田稔（大阪国際工科専門職大学、大阪大学先導的学際研究機構共生知能システム研究センター）~~
	~~内部英治（株式会社国際電気通信基礎技術研究所脳情報研究所）~~
	~~2021年9月23日~~

	{{box\|text=　模倣学習とは、「模倣を学習すること」の意味と学習の一形態としての「模倣学習」が考えられる。前者では、模倣することの前提知識や条件が完全に与えられれば、学習する必要はなく、ブラインドコピーすることで終わる。これらの前提知識や条件が不備であるとき、それらを埋めるべき操作としての学習過程が必要となる。後者は、教師あり学習、教師なし学習、強化学習などの代表的な学習のアプローチの中で、従来、教師あり学習の一形態として模倣学習が位置づけられてきたが、近年、強化学習の報酬関数の推定の観点から逆強化学習が注目され、さらに深層学習の各種法の適用により、計算論的観点から模倣学習が見直され、拡張されている。}}		{{box\|text=　模倣学習とは、「模倣を学習すること」の意味と学習の一形態としての「模倣学習」が考えられる。前者では、模倣することの前提知識や条件が完全に与えられれば、学習する必要はなく、ブラインドコピーすることで終わる。これらの前提知識や条件が不備であるとき、それらを埋めるべき操作としての学習過程が必要となる。後者は、教師あり学習、教師なし学習、強化学習などの代表的な学習のアプローチの中で、従来、教師あり学習の一形態として模倣学習が位置づけられてきたが、近年、強化学習の報酬関数の推定の観点から逆強化学習が注目され、さらに深層学習の各種法の適用により、計算論的観点から模倣学習が見直され、拡張されている。}}
	==はじめに==		==はじめに==

WikiSysop: /* 模倣の構造 */

2021-09-28T03:59:15Z

模倣の構造

← 古い版		2021年9月28日 (火) 12:59時点における版
21行目:		21行目:
	* 専門家による再プログラミングなしに、新たな行動技能を獲得できる。独自に膨大な試行錯誤学習をするよりはるかに効率的で実用的、		* 専門家による再プログラミングなしに、新たな行動技能を獲得できる。独自に膨大な試行錯誤学習をするよりはるかに効率的で実用的、

	とされ<ref name=浅田稔2006 />[2]、それを支える機能として、運動認識、動作認識、行動認識、身体と物体の理解、目的や意図の推定、行為認識、予測が挙げられ、自己との対応付けなどを経て行為理解に至る。これらは、知能の根源に関わる重要かつ、一般に実現が困難な機能ばかりである。運動、動作、行為、行動などの定義については、[[#付録\|付録]]参照。		とされ<ref name=浅田稔2006 />[2]、それを支える機能として、運動認識、動作認識、行動認識、身体と物体の理解、目的や意図の推定、行為認識、予測が挙げられ、自己との対応付けなどを経て行為理解に至る。これらは、知能の根源に関わる重要かつ、一般に実現が困難な機能ばかりである。運動、動作、行為、行動などの定義については、[[#付録：運動、行動、行為などの定義\|付録]]参照。

	=== 模倣の機能的な構成 ===		=== 模倣の機能的な構成 ===