マッチング法則

酒井 裕
玉川大学 脳科学研究所
DOI：10.14931/bsd.788　原稿受付日：2012年12月3日　原稿完成日：2013年2月15日
担当編集委員：入來 篤史（独立行政法人理化学研究所 脳科学総合研究センター）

英語名：matching law

同義語：オペラントマッチング (operant matching)

類義語：マッチング行動 (matching behavior)

異義語：確率マッチング (probability matching)

　動物が行った行動に応じて報酬や罰が与えられるオペラント条件づけにおいて、動物はしばしば得られる成果を最大にする選択行動に至らないことがある。その中には再現性の良い法則を見出すことができる場合があり、マッチング法則はその一例である。マッチング法則は、確率的に報酬が与えられ、その確率が過去の行動にも依存する場合に、典型的に観測される。マッチング法則に至るような様々な行動学習モデルが提案されており、その中には神経シナプスで実現する一般則も提案されている。また工学的に開発されてきた強化学習アルゴリズムの一部がマッチング法則に至ることも示されており、マッチングを目指す学習戦略の意義も提唱されている。

定義

　動物が選択できる反応を $a=1,2,\cdots ,n$ とする。動物が行った反応パターンに応じて報酬を与えるルール（強化スケジュール）を一定にした上で、動物に十分学習をさせた後、長時間、行動を観測し、各反応 $a$ を行った回数を $N_{a}$ とし、反応 $a$ を行った直後に得られた報酬の総量を $I_{a}$ とする。マッチング法則とは、反応回数の割合と得られた報酬の割合が一致することである。

${\frac {N_{a}}{N_{1}+N_{2}+\cdots +N_{n}}}={\frac {I_{a}}{I_{1}+I_{2}+\cdots +I_{n}}}$

　マッチング法則を示す一連の行動をマッチング行動と呼ぶ。

　全く行っていない反応を除けば、

${\frac {I_{a}}{N_{a}}}={\frac {I_{1}+I_{2}+\cdots +I_{n}}{N_{1}+N_{2}+\cdots +N_{n}}}$

と変形でき、右辺は反応 $a$ に依存しない値であるため、「各反応を一回行ったときに得られる期待報酬は、全く行っていない反応を除いて等しい」という法則とみなすことができる。

確率マッチングとの対比

　マッチング法則と同様に、得られる成果を最大化していない行動にみられる法則の一つとして「確率マッチング(probability matching)」というものも知られている。用語も定義も似ているが全く異なる法則であるため、注意が必要である。

　確率マッチング(probability matching)の定義：

${\frac {N_{1}}{N_{1}+N_{2}}}={\frac {I_{1}/N_{1}}{I_{1}/N_{1}+I_{2}/N_{2}}}$

　マッチング法則は、離散的な試行の繰り返しでも連続的に自由なタイミングで反応できる場合にも観測されており、様々な強化スケジュールで確認されているが、確率マッチングが調べられているのは限定的で次の条件を満たす場合に限られる。

• 離散的な試行の繰り返しである。
• 2択である。
• 各反応を選択したときの報酬確率はそれぞれ一定である。
• 報酬が得られるときの報酬量は一定である。
• 各反応の報酬確率の和は1である。

　この条件では、報酬確率が高い方の反応を選択し続ける行動が最適であり、片方の反応を全く選択していないので、自明にマッチング法則を満たす。一方、確率マッチングを満たす行動では、明らかに報酬を最大化できない。

　また、確率マッチングは、マッチング法則に比べると、観測される条件は次のように限定的である。

• ヒトを対象にした実験で、実際には金銭的報酬を与えない場合には、確率マッチングとなるが、実際に与えるとより最適行動に近づく。
• 同じ条件で十分試行を繰り返すと（1000回以上）、確率マッチングから最適行動に近づく。
• ハトで十分学習させるとほぼ最適行動が観測される。

マッチングと報酬最大化

　Herrnstein は、Variable Interval (VI) スケジュールという強化スケジュールを2択の反応にそれぞれ割り当てた並立VI-VIスケジュールでハトを訓練し、マッチング法則を見出した。VIスケジュールは、反応の頻度によらず、平均的にほぼ一定の間隔で報酬が得られるような確率的強化スケジュールである。したがって反応頻度が上がると、一回の反応に対して報酬を与える確率が下がるようになっており、報酬確率が過去の行動に依存する強化スケジュールの典型例である。一方、報酬確率が過去の行動に依存しない強化スケジュールは、Variable Ratio (VR) スケジュールと呼ばれ、一回の反応に対して一定の確率で報酬を与えるスケジュールである。

　並立VR-VRスケジュールでは、平均報酬が大きい方の反応をし続ける行動が最適であり、片方の反応を全く行っていないので、自明にマッチング法則を満たす。一方、並立VI-VIスケジュールでも、報酬量を最大にする反応の割合がほぼマッチング法則を満たすことがわかっている 。したがって、この範囲では、マッチングの結果なのか、報酬最大化の結果なのか、区別できない。

　その後、マッチングと報酬最大化を区別できる強化スケジュールとして、より複雑な強化スケジュールが提案されてきた。VIスケジュールとVRスケジュールを2択の反応にそれぞれ割り当てた並立VI-VRスケジュールや、VIスケジュールとVRスケジュールを2段階に組み合わせた Mazur のスケジュール、過去一定期間の反応頻度に応じてVIスケジュールの平均報酬間隔を制御する Vaughan のスケジュールなど、いずれもマッチングと報酬最大化の結果が大きく異なるように設計でき、実験結果はマッチング法則の方を示してきた。特に Vaughan のスケジュールでは、マッチング法則を満たす複数の解を設計でき、彼らが提唱する行動学習モデル「逐次改良法(melioration)」の予測と、動物の行動が一致することが示されている。

　こうして、報酬最大化ではなくマッチングであることは様々な実験で示されているが、それぞれ、様々な批判もある。特に重要な批判は Change-over-delay(COD) と呼ばれる、反応の切り替えに対するペナルティを課していることにある。マッチング法則を示してきた強化スケジュールの多くは、2択の反応を交互に行うと高い確率で報酬を得られるようになっており、そのような交互反応にならないように切替のペナルティが導入されている。この操作が、最適行動を取れている動物を無理やりマッチング行動に押し込めているかのような印象を与えている。

　これに対し、切替のペナルティを導入する必要がない強化スケジュールもEglemanらによって考案されている。Vaughanのスケジュールをより単純化したものになっており、過去一定期間の反応頻度によって次の反応に対する報酬確率を決定するスケジュールである。報酬確率を決める関数形によって、報酬最大化とマッチング、および交互反応の結果、得られる平均報酬を自由に設計でき、さらに反応の選択順序に依存せず、反応頻度だけに依存するスケジュールであるため、反応頻度に関する法則を観測するのに適している。Eglemanらはヒトを対象にして、マッチング行動を示す被験者が多数であることを示した。

マッチング法則からのずれ

　報酬最大化ではなくマッチング法則に近いことは示されてきたが、同時に微妙にマッチング法則からずれており、そのずれ方に傾向があることがわかってきた。Baumはこのずれを記述できるように、マッチング法則を一般化した。まず、頻度が0ではない反応が2つ以上ある場合に、そのうちの2つの反応に注目して、それらの反応回数と獲得報酬総量をそれぞれ$N_{1},N_{2}$と$I_{1},I_{2}$とすれば、マッチング法則から

${\frac {N_{1}}{N_{2}}}={\frac {I_{1}}{I_{2}}}$

が成り立つ。Baumはこの形式を次の形式に一般化した。

一般化マッチング法則： ${\frac {N_{1}}{N_{2}}}=b\left({\frac {I_{1}}{I_{2}}}\right)^{a}$

　パラメタ$b$は反応の偏り(bias)を表わす。指数$a>1$の場合を過大マッチング(overmatching)、指数$a<1$の場合を過小マッチング(undermatching)と呼ぶ。実際の行動では、過小マッチング(undermatching)が数多く観測されている。

マッチングの行動学習モデル

逐次改良法 (melioration)

　VaughanとHerrnsteinは、逐次改良法と呼ばれる行動学習モデルを提唱している。各反応の割合を変化させて行動学習を行っていると仮定し、各反応を行ったときに得られる平均報酬（強化率）を推定して、より強化率の高い反応の割合を上げる、というモデルである。マッチング法則が成り立つような状態になると、全ての反応の強化率が等しくなるので、反応割合の変化が起こらなくなり、定常状態に達する。

局所マッチング則 (local matching law)

　Sugrueらは、局所マッチング則と呼ばれる行動学習モデルを提唱している。各反応に対して得られた最近の累積報酬を推定し、その割合でこれから行う反応の割合を決める、というモデルである。

　直接、マッチング法則を成立させるように構成したモデルである。このモデルをサルの行動にフィットさせたところ、長期間と短期間の累積報酬を両方反映しているという結果が得られている。

共分散則 (covariance rule)

　LoewensteinとSeungは、神経系におけるシナプス可塑性に共分散則というルールを適用すると、行動上でマッチング法則が顕れることを証明した。彼らの仮定は次の2つのみである。

• 行動上の各反応$a$に影響を及ぼすシナプス群が存在し、その伝達強度$\{w_{a1},w_{a2},\cdots \}$と反応$a$の頻度はそれぞれ単調な関係がある。
• 反応$a$を行うかどうかと相関のある神経活動$\{x_{a1},x_{a2},\cdots \}$があり、その結果得られる報酬 $r$ とは、行った反応を通してのみしか相関を持たない。

　この仮定の元で、神経活動$x$と報酬$r$との共分散に比例してシナプス強度が変化するルールを導入すると、定常状態で一般にマッチング法則が成り立つ。次の3つのタイプの具体的なルールは全て平均的に神経活動と報酬との共分散に比例する。

1. $\Delta w_{ak}=\alpha (r-{\bar {r}})x_{ak}$
2. $\Delta w_{ak}=\alpha r(x_{ak}-{\bar {x}}_{ak})$
3. $\Delta w_{ak}=\alpha (r-{\bar {r}})(x_{ak}-{\bar {x}}_{ak})$

　ここで $\Delta w_{ak}$ は、一回反応を行ったときに誘導されるシナプス可塑性で、シナプス伝達強度 $w_{ak}$ の値は、$w_{ak}+\Delta w_{ak}$ に置き換えられることを意味する。また、${\bar {x}}$ は変数$x$の長時間平均を表し、$\Delta {\bar {x}}=\beta (x-{\bar {x}})$ などのアルゴリズムで推定できる。

　なお、これら神経系に相互作用があり、ある条件を満たす場合に、マッチング法則を満たす定常状態が不安定になることがあることが報告されている。多体の神経系に適用する場合には注意が必要である。

マッチング法則を示す強化学習アルゴリズム

　強化学習は、与えられた入力（感覚刺激）に応じて出力（反応）し、一連の出力の結果、得られる成果（報酬）を最大にするような入出力関係を学習する枠組である。工学的に有用なアルゴリズムが多数開発されている。よく知られた強化学習アルゴリズムをマッチング行動が観測されているような強化スケジュールに適用し、反応するタイミングでは感覚刺激が一定であることから、入力を一定とすると、一部のアルゴリズムはマッチング行動に至ることが示されている 。共通な性質として、方策勾配法(policy gradient) と呼ばれる勾配法を使った報酬最大化アルゴリズムに属し、その際に Temporal Difference (TD) 学習と呼ばれる予測学習法を用いていることが挙げられる。よく知られたアルゴリズムの例として、アクタークリティック法とダイレクトアクター法が挙げられる。各反応の選択確率を$p_{a}=e^{w_{a}}/(e^{w_{1}}+e^{w_{2}}+\cdots +e^{w_{n}})$とし、変数$\{w_{1},w_{2},\cdots ,w_{n}\}$を変化させて行動学習しているとすれば、

アクタークリティック法： $\Delta w_{a}=\alpha \delta _{aa_{t}}(r-{\bar {r}})$

ダイレクトアクター法： $\Delta w_{a}=\alpha r(\delta _{aa_{t}}-p_{a})$

と表せる。ここで $a_{t}$ は $t$ 回目の反応で選ばれた反応を表し、$\delta _{aa_{t}}$ は、クローネッカーの$\delta$記号で、$a_{t}=a$のとき 1、そうでないときには 0 を取る。$\delta _{aa_{t}}$を反応$a$に相関する神経活動$x_{a}=\delta _{aa_{t}}$とみなせば、アクタークリティック法は、共分散則のタイプ1に、ダイレクトアクター法は、タイプ2に属する。

マッチングの意義

　報酬最大化を目的とした強化学習アルゴリズムの一部がマッチングを示すことから、マッチングは報酬最大化を目指す学習戦略の一種であることが示唆される。しかし、実際に報酬最大化に失敗してマッチングを示すことから、条件によってはうまく働かない原因があると考えられる。それがTemporal Difference (TD) 学習による近似である。TD学習は多くの強化学習アルゴリズムで採用されている手法であり、その中で学習信号として用いられるTD予測誤差とよく似た振る舞いが中脳黒質のドーパミン投射細胞に見られることから、動物の脳においてもTD学習が用いられているのではないかと示唆されている。TD学習では、現在の状況を表わす状態変数$s$を用いる。ある状態にいた後、得られる期待報酬と平均報酬の差を将来にわたって累積したものをその状態の状態価値と呼び、$V(s)$と表記する。

$V(s)\equiv E\left[\sum _{\tau =1}^{\infty }(r_{t+\tau }-E[r]){\Big |}s_{t}=s\right]$

ここで、$E[X|C]$は条件付期待値の記号で、条件$C$の下での$X$の値の平均値を表す。平均報酬$E[r]$からの相対値で定義するのは、状態価値$V(s)$が発散しないためであり、本質ではない（注：将来報酬価値に対する割引を考慮した定義の方が一般に広く知られており、割引があると相対値を取らなくても発散しないため、相対値は通常用いられない。しかしここでは割引価値最大化ではなく報酬最大化の枠組みに則っており、平均報酬からの相対値で定義するのが一般的である）。学習で用いるのは異なる状態間の状態価値の差$V(s)-V(s')$となり、各状態で共通の基準値からの相対値であれば平均報酬からでなくても問題ない。特定の時刻を明示しない変数$r$の期待値$E[r]$はあらゆる時間に対する平均の意味も含み、定常な環境と行動選択の仕方の元では、任意の時刻$t$における期待値が平均報酬と等しくなる（$E[r_{t}]=E[r]$）。各状態における状態価値$V(s)$を推定し、ある反応をした後に得られる累積報酬を、1ステップ先の状態価値を用いて置き換えるのがTD学習である。

TD学習：$E\left[\sum _{\tau =1}^{\infty }(r_{t+\tau }-E[r]){\Big |}a_{t}=a\right]\simeq E{\Big [}r_{t+1}-E[r]+V(s_{t+1}){\Big |}a_{t}=a{\Big ]}$

　状態価値$V(s)$の推定にもTD学習を用い、次のように置き換える。

$V(s)\simeq E{\Big [}r_{t+1}-E[r]+V(s_{t+1}){\Big |}s_{t}=s{\Big ]}$

　この置換には次の条件を用いている。

$E{\Big [}r_{t+\tau }|s_{t+1}=s,a_{t}=a{\Big ]}=E{\Big [}r_{t+\tau }|s_{t+1}=s{\Big ]},\ E{\Big [}r_{t+\tau }|s_{t+1}=s,s_{t}=s'{\Big ]}=E{\Big [}r_{t+\tau }|s_{t+1}=s{\Big ]}$

　これらの条件は、1ステップ先の状態$s_{t+1}$がそれ以降に得られる報酬に対して十分な情報をもっており、直前に行った反応や状態に依存しないことを意味する。この条件が満たされなければ、TD学習は報酬最大化に失敗することになる。特に状態の区別をしていない場合にTD学習はマッチング法則を示すことがわかっている。

　一方、一般に状況に応じて適切な反応を選択しなければ、得られる報酬を最大化することはできない。状況に応じた反応選択をするためにも現在の状況を表わす状態変数が必要である。状態変数の取り方を決めると反応の仕方は、あらゆる行動から限定されることになる。その範囲に真の最適行動が含まれていなければ、限定した範囲での報酬最大化しかできず、真の最大報酬を得ることはできない。

　こうして、状態変数の取り方によって、報酬最大化に失敗する要因は2段階に存在する。反応の仕方が限定され真の最適行動に辿りつけないことと、TD学習の条件を満たさない状態変数を取ることによって限定された範囲での報酬最大化もできなくなることである。したがって状態変数の取り方は報酬最大化に重要である。

　真の最適行動を含むような状態変数の取り方を一般化すると、TD学習の条件を満たすことがわかっている。つまり、真の最大報酬を得るために、適切な状態変数を取るためのメカニズムがあれば、TD学習を用いても真の最大報酬を得ることができる。マッチング法則が観測されている強化スケジュールは、適切な状態変数が何かわかりにくいスケジュールになっている。例えばVIスケジュールを用いた課題では、片方の選択肢を選択し続けている時間を現在の状態を表す変数として用いて、選択持続時間の状態価値に関するTD学習を行い、選択持続時間に応じた反応を行うことが、真の最大報酬を得るために必要となる。Eglemanらの課題では、次の報酬確率を決めるのに使う過去一定期間の選択頻度を、被験者も現在の状態として用いることが必要となる。しかし何も知らされない被験者がそんな情報に注目するするのは、難しいことだろう。人工的な環境を設定することにより、適切な状態変数を見出すことができずに、状態の区別をしなかった結果、報酬最大化できずにマッチング法則を示したのではないか、と推察できる。

　しかし、動物が慣れ親しんだ自然環境では適切な状態変数を見出すことができ、TD学習の条件を満たすため、問題が生じないのではないだろうか。例えばVIスケジュールは自然環境での採餌を模擬していると言えるが、自然の中で採餌を営んでいる動物にとって、ある餌場に最近どのくらい探しに行っていないか、という情報に注目するのは、それほど困難ではないだろう。動物が生存のために直面する状況では、概ね適切な状態変数を見いだすことができ、適切な状態変数の元で効率的なTD学習を用いて、得られる報酬を最大化しているのではないだろうか。こうした動物の効率的な学習機能を人工環境で切り出した結果がマッチングであると解釈できる。