9,444
回編集
「マッチング法則」の版間の差分
ナビゲーションに移動
検索に移動
細
編集の要約なし
細編集の要約なし |
細編集の要約なし |
||
| 50行目: | 50行目: | ||
Herrnstein は、Variable Interval (VI) スケジュールという強化スケジュールを2択の反応にそれぞれ割り当てた並立VI-VIスケジュールでハトを訓練し、マッチング法則を見出した。<span id="VI">VIスケジュール</span>は、反応の頻度によらず、平均的にほぼ一定の間隔で報酬が得られるような確率的強化スケジュールである。したがって反応頻度が上がると、一回の反応に対して報酬を与える確率が下がるようになっており、報酬確率が過去の行動に依存する強化スケジュールの典型例である。一方、報酬確率が過去の行動に依存しない強化スケジュールは、Variable Ratio (VR) スケジュールと呼ばれ、一回の反応に対して一定の確率で報酬を与えるスケジュールである。 | Herrnstein は、Variable Interval (VI) スケジュールという強化スケジュールを2択の反応にそれぞれ割り当てた並立VI-VIスケジュールでハトを訓練し、マッチング法則を見出した。<span id="VI">VIスケジュール</span>は、反応の頻度によらず、平均的にほぼ一定の間隔で報酬が得られるような確率的強化スケジュールである。したがって反応頻度が上がると、一回の反応に対して報酬を与える確率が下がるようになっており、報酬確率が過去の行動に依存する強化スケジュールの典型例である。一方、報酬確率が過去の行動に依存しない強化スケジュールは、Variable Ratio (VR) スケジュールと呼ばれ、一回の反応に対して一定の確率で報酬を与えるスケジュールである。 | ||
並立VR-VRスケジュールでは、平均報酬が大きい方の反応をし続ける行動が最適であり、片方の反応を全く行っていないので、自明にマッチング法則を満たす。一方、並立VI-VIスケジュールでも、報酬量を最大にする反応の割合がほぼマッチング法則を満たすことがわかっている<ref> <pubmed> 16812255 16812223 </pubmed></ref>。したがって、この範囲では、マッチングの結果なのか、報酬最大化の結果なのか、区別できない。 | 並立VR-VRスケジュールでは、平均報酬が大きい方の反応をし続ける行動が最適であり、片方の反応を全く行っていないので、自明にマッチング法則を満たす。一方、並立VI-VIスケジュールでも、報酬量を最大にする反応の割合がほぼマッチング法則を満たすことがわかっている<ref><pubmed>16812255</pubmed></ref> <ref><pubmed>16812223</pubmed></ref>。したがって、この範囲では、マッチングの結果なのか、報酬最大化の結果なのか、区別できない。 | ||
その後、マッチングと報酬最大化を区別できる強化スケジュールとして、より複雑な強化スケジュールが提案されてきた。VIスケジュールとVRスケジュールを2択の反応にそれぞれ割り当てた並立VI-VRスケジュール<ref><pubmed> 16812126 </pubmed></ref>や、VIスケジュールとVRスケジュールを2段階に組み合わせた Mazur のスケジュール<ref><pubmed> 7292017 </pubmed></ref>、過去一定期間の反応頻度に応じてVIスケジュールの平均報酬間隔を制御する Vaughan のスケジュール<ref><pubmed> 16812236 </pubmed></ref>など、いずれもマッチングと報酬最大化の結果が大きく異なるように設計でき、実験結果はマッチング法則の方を示してきた。特に Vaughan のスケジュールでは、マッチング法則を満たす複数の解を設計でき、彼らが提唱する行動学習モデル「[[#Mel|逐次改良法(melioration)]]」の予測と、動物の行動が一致することが示されている。 | その後、マッチングと報酬最大化を区別できる強化スケジュールとして、より複雑な強化スケジュールが提案されてきた。VIスケジュールとVRスケジュールを2択の反応にそれぞれ割り当てた並立VI-VRスケジュール<ref><pubmed> 16812126 </pubmed></ref>や、VIスケジュールとVRスケジュールを2段階に組み合わせた Mazur のスケジュール<ref><pubmed> 7292017 </pubmed></ref>、過去一定期間の反応頻度に応じてVIスケジュールの平均報酬間隔を制御する Vaughan のスケジュール<ref><pubmed> 16812236 </pubmed></ref>など、いずれもマッチングと報酬最大化の結果が大きく異なるように設計でき、実験結果はマッチング法則の方を示してきた。特に Vaughan のスケジュールでは、マッチング法則を満たす複数の解を設計でき、彼らが提唱する行動学習モデル「[[#Mel|逐次改良法(melioration)]]」の予測と、動物の行動が一致することが示されている。 | ||
| 104行目: | 104行目: | ||
=== マッチング法則を示す強化学習アルゴリズム === | === マッチング法則を示す強化学習アルゴリズム === | ||
[[強化学習]]は、与えられた入力（感覚刺激）に応じて出力（反応）し、一連の出力の結果、得られる成果（報酬）を最大にするような入出力関係を学習する枠組である。工学的に有用なアルゴリズムが多数開発されている。よく知られた強化学習アルゴリズムをマッチング行動が観測されているような強化スケジュールに適用し、反応するタイミングでは感覚刺激が一定であることから、入力を一定とすると、一部のアルゴリズムはマッチング行動に至ることが示されている<ref><pubmed>16942856 18045007</pubmed></ref>。共通な性質として、方策勾配法(policy gradient) と呼ばれる勾配法を使った報酬最大化アルゴリズムに属し、その際に Temporal Difference (TD) 学習と呼ばれる予測学習法を用いていることが挙げられる。よく知られたアルゴリズムの例として、アクタークリティック法とダイレクトアクター法が挙げられる。各反応の選択確率を<math>p_a=e^{w_a}/(e^{w_1}+e^{w_2}+\cdots+e^{w_n})</math>とし、変数<math>\{w_1,w_2,\cdots,w_n\}</math>を変化させて行動学習しているとすれば、 | [[強化学習]]は、与えられた入力（感覚刺激）に応じて出力（反応）し、一連の出力の結果、得られる成果（報酬）を最大にするような入出力関係を学習する枠組である。工学的に有用なアルゴリズムが多数開発されている。よく知られた強化学習アルゴリズムをマッチング行動が観測されているような強化スケジュールに適用し、反応するタイミングでは感覚刺激が一定であることから、入力を一定とすると、一部のアルゴリズムはマッチング行動に至ることが示されている<ref><pubmed>16942856</pubmed></ref> <ref><pubmed>18045007</pubmed></ref>。共通な性質として、方策勾配法(policy gradient) と呼ばれる勾配法を使った報酬最大化アルゴリズムに属し、その際に Temporal Difference (TD) 学習と呼ばれる予測学習法を用いていることが挙げられる。よく知られたアルゴリズムの例として、アクタークリティック法とダイレクトアクター法が挙げられる。各反応の選択確率を<math>p_a=e^{w_a}/(e^{w_1}+e^{w_2}+\cdots+e^{w_n})</math>とし、変数<math>\{w_1,w_2,\cdots,w_n\}</math>を変化させて行動学習しているとすれば、 | ||
アクタークリティック法： | アクタークリティック法： | ||