9,444
回編集
「マッチング法則」の版間の差分
細
編集の要約なし
Yutakasakai (トーク | 投稿記録) 細編集の要約なし |
細編集の要約なし |
||
| 1行目: | 1行目: | ||
英語名：matching law | |||
同義語：オペラントマッチング (operant matching) | 同義語：オペラントマッチング (operant matching) | ||
| 33行目: | 33行目: | ||
* 離散的な試行の繰り返しである。 | * 離散的な試行の繰り返しである。 | ||
* | * 2択である。 | ||
* 各反応を選択したときの報酬確率はそれぞれ一定である。 | * 各反応を選択したときの報酬確率はそれぞれ一定である。 | ||
* 報酬が得られるときの報酬量は一定である。 | * 報酬が得られるときの報酬量は一定である。 | ||
| 71行目: | 71行目: | ||
<span id="Model"></span> | <span id="Model"></span> | ||
== マッチングの行動学習モデル == | == マッチングの行動学習モデル == | ||
<span id="Mel"></span> | <span id="Mel"></span> | ||
=== 逐次改良法 (melioration) === | === 逐次改良法 (melioration) === | ||
VaughanとHerrnsteinは、逐次改良法と呼ばれる行動学習モデルを提唱している。各反応の割合を変化させて行動学習を行っていると仮定し、各反応を行ったときに得られる平均報酬（強化率）を推定して、より強化率の高い反応の割合を上げる、というモデルである。マッチング法則が成り立つような状態になると、全ての反応の強化率が等しくなるので、反応割合の変化が起こらなくなり、定常状態に達する。 | VaughanとHerrnsteinは、逐次改良法と呼ばれる行動学習モデルを提唱している。各反応の割合を変化させて行動学習を行っていると仮定し、各反応を行ったときに得られる平均報酬（強化率）を推定して、より強化率の高い反応の割合を上げる、というモデルである。マッチング法則が成り立つような状態になると、全ての反応の強化率が等しくなるので、反応割合の変化が起こらなくなり、定常状態に達する。 | ||
| 82行目: | 84行目: | ||
<span id="Cov"></span> | <span id="Cov"></span> | ||
=== 共分散則 (covariance rule) === | === 共分散則 (covariance rule) === | ||
LoewensteinとSeungは、神経系における[[シナプス可塑性]]に共分散則というルールを適用すると、行動上でマッチング法則が顕れることを証明した<ref><pubmed>17008410</pubmed></ref>。彼らの仮定は次の2つのみである。 | LoewensteinとSeungは、神経系における[[シナプス可塑性]]に共分散則というルールを適用すると、行動上でマッチング法則が顕れることを証明した<ref><pubmed>17008410</pubmed></ref>。彼らの仮定は次の2つのみである。 | ||
| 99行目: | 102行目: | ||
<span id="RL"></span> | <span id="RL"></span> | ||
=== マッチング法則を示す強化学習アルゴリズム === | === マッチング法則を示す強化学習アルゴリズム === | ||
[[強化学習]]は、与えられた入力（感覚刺激）に応じて出力（反応）し、一連の出力の結果、得られる成果（報酬）を最大にするような入出力関係を学習する枠組である。工学的に有用なアルゴリズムが多数開発されている。よく知られた強化学習アルゴリズムをマッチング行動が観測されているような強化スケジュールに適用し、反応するタイミングでは感覚刺激が一定であることから、入力を一定とすると、一部のアルゴリズムはマッチング行動に至ることが示されている<ref><pubmed>16942856 18045007</pubmed></ref>。共通な性質として、方策勾配法(policy gradient) と呼ばれる勾配法を使った報酬最大化アルゴリズムに属し、その際に Temporal Difference (TD) 学習と呼ばれる予測学習法を用いていることが挙げられる。よく知られたアルゴリズムの例として、アクタークリティック法とダイレクトアクター法が挙げられる。各反応の選択確率を<math>p_a=e^{w_a}/(e^{w_1}+e^{w_2}+\cdots+e^{w_n})</math>とし、変数<math>\{w_1,w_2,\cdots,w_n\}</math>を変化させて行動学習しているとすれば、 | [[強化学習]]は、与えられた入力（感覚刺激）に応じて出力（反応）し、一連の出力の結果、得られる成果（報酬）を最大にするような入出力関係を学習する枠組である。工学的に有用なアルゴリズムが多数開発されている。よく知られた強化学習アルゴリズムをマッチング行動が観測されているような強化スケジュールに適用し、反応するタイミングでは感覚刺激が一定であることから、入力を一定とすると、一部のアルゴリズムはマッチング行動に至ることが示されている<ref><pubmed>16942856 18045007</pubmed></ref>。共通な性質として、方策勾配法(policy gradient) と呼ばれる勾配法を使った報酬最大化アルゴリズムに属し、その際に Temporal Difference (TD) 学習と呼ばれる予測学習法を用いていることが挙げられる。よく知られたアルゴリズムの例として、アクタークリティック法とダイレクトアクター法が挙げられる。各反応の選択確率を<math>p_a=e^{w_a}/(e^{w_1}+e^{w_2}+\cdots+e^{w_n})</math>とし、変数<math>\{w_1,w_2,\cdots,w_n\}</math>を変化させて行動学習しているとすれば、 | ||
| 137行目: | 141行目: | ||
一方、一般に状況に応じて適切な反応を選択しなければ、得られる報酬を最大化することはできない。状況に応じた反応選択をするためにも現在の状況を表わす状態変数が必要である。状態変数の取り方を決めると反応の仕方は、あらゆる行動から限定されることになる。その範囲に真の最適行動が含まれていなければ、限定した範囲での報酬最大化しかできず、真の最大報酬を得ることはできない。 | 一方、一般に状況に応じて適切な反応を選択しなければ、得られる報酬を最大化することはできない。状況に応じた反応選択をするためにも現在の状況を表わす状態変数が必要である。状態変数の取り方を決めると反応の仕方は、あらゆる行動から限定されることになる。その範囲に真の最適行動が含まれていなければ、限定した範囲での報酬最大化しかできず、真の最大報酬を得ることはできない。 | ||
こうして、状態変数の取り方によって、報酬最大化に失敗する要因は2段階に存在する。反応の仕方が限定され真の最適行動に辿りつけないことと、TD学習の条件を満たさない状態変数を取ることによって限定された範囲での報酬最大化もできなくなることである。したがって状態変数の取り方は報酬最大化に重要である。 | |||
真の最適行動を含むような状態変数の取り方を一般化すると、TD学習の条件を満たすことがわかっている。つまり、真の最大報酬を得るために、適切な状態変数を取るためのメカニズムがあれば、TD学習を用いても真の最大報酬を得ることができる。マッチング法則が観測されている強化スケジュールは、適切な状態変数が何かわかりにくいスケジュールになっている。例えば[[#VI|VIスケジュール]]を用いた課題では、片方の選択肢を選択し続けている時間を現在の状態を表す変数として用いて、選択持続時間の状態価値に関するTD学習を行い、選択持続時間に応じた反応を行うことが、真の最大報酬を得るために必要となる。[[#Egleman|Eglemanらの課題]]では、次の報酬確率を決めるのに使う過去一定期間の選択頻度を、被験者も現在の状態として用いることが必要となる。しかし何も知らされない被験者がそんな情報に注目するするのは、難しいことだろう。人工的な環境を設定することにより、適切な状態変数を見出すことができずに、状態の区別をしなかった結果、報酬最大化できずにマッチング法則を示したのではないか、と推察できる。 | 真の最適行動を含むような状態変数の取り方を一般化すると、TD学習の条件を満たすことがわかっている。つまり、真の最大報酬を得るために、適切な状態変数を取るためのメカニズムがあれば、TD学習を用いても真の最大報酬を得ることができる。マッチング法則が観測されている強化スケジュールは、適切な状態変数が何かわかりにくいスケジュールになっている。例えば[[#VI|VIスケジュール]]を用いた課題では、片方の選択肢を選択し続けている時間を現在の状態を表す変数として用いて、選択持続時間の状態価値に関するTD学習を行い、選択持続時間に応じた反応を行うことが、真の最大報酬を得るために必要となる。[[#Egleman|Eglemanらの課題]]では、次の報酬確率を決めるのに使う過去一定期間の選択頻度を、被験者も現在の状態として用いることが必要となる。しかし何も知らされない被験者がそんな情報に注目するするのは、難しいことだろう。人工的な環境を設定することにより、適切な状態変数を見出すことができずに、状態の区別をしなかった結果、報酬最大化できずにマッチング法則を示したのではないか、と推察できる。 | ||
しかし、動物が慣れ親しんだ自然環境では適切な状態変数を見出すことができ、TD学習の条件を満たすため、問題が生じないのではないだろうか。例えば[[#VI|VIスケジュール]]は自然環境での採餌を模擬していると言えるが、自然の中で採餌を営んでいる動物にとって、ある餌場に最近どのくらい探しに行っていないか、という情報に注目するのは、それほど困難ではないだろう。動物が生存のために直面する状況では、概ね適切な状態変数を見いだすことができ、適切な状態変数の元で効率的なTD学習を用いて、得られる報酬を最大化しているのではないだろうか。こうした動物の効率的な学習機能を人工環境で切り出した結果がマッチングであると解釈できる。 | しかし、動物が慣れ親しんだ自然環境では適切な状態変数を見出すことができ、TD学習の条件を満たすため、問題が生じないのではないだろうか。例えば[[#VI|VIスケジュール]]は自然環境での採餌を模擬していると言えるが、自然の中で採餌を営んでいる動物にとって、ある餌場に最近どのくらい探しに行っていないか、という情報に注目するのは、それほど困難ではないだろう。動物が生存のために直面する状況では、概ね適切な状態変数を見いだすことができ、適切な状態変数の元で効率的なTD学習を用いて、得られる報酬を最大化しているのではないだろうか。こうした動物の効率的な学習機能を人工環境で切り出した結果がマッチングであると解釈できる。 | ||
== 参考文献 == | == 参考文献 == | ||