ドリフト拡散モデル

片平 健太郎
産業技術総合研究所人間情報インタラクション研究部門
国里 愛彦
専修大学人間科学部心理学科
DOI：10.14931/bsd.9854　原稿受付日：2021年7月14日　原稿完成日：2021年8月26日
担当編集委員：北城 圭一（生理学研究所）

英：drift diffusion model　独：Drift-Diffusionsmodell

類義語：逐次サンプリングモデル (sequential sampling model)

　ドリフト拡散モデルは、刺激呈示から反応が起こるまでの意思決定プロセスを説明する数理モデルの一つである。反応選択と反応時間を説明するモデルとして、心理学や神経科学の研究において幅広く用いられている。その性質は確率過程に関する数学的理論や計算機シミュレーションにより詳細に調べられている。実際の反応データからモデルのパラメータを推定することも可能であり、パラメータの個人差や群間差も検討されている。モデルの振る舞いに対応する神経活動も観測されており、意思決定の神経基盤のモデルとしても用いられている。

概要

図1.ドリフト拡散モデルにおける反応と反応時間の生成過程

　ドリフト拡散モデルは、刺激呈示から反応が起こるまでの経過時間（反応時間）と反応選択の分布を説明するモデルである。Ratcliff により提案され、心理学や神経科学における反応時間のモデリングにおいて、幅広く用いられている。

　ドリフト拡散モデルが適用されるのは、刺激の呈示後1秒から2秒程度の時間内に2種類の反応から一つを選択することが求められるようなタイプの意思決定である。熟考の末判断を下すような時間のかかる意思決定は適用対象ではないとされる。また、いずれかの反応が正解であり、もう片方の反応は不正解とされる場合が多いが、必ずしもその限りではない。適用される意思決定のタイプとしては、呈示された刺激が以前にも呈示されたものであるか新規なものであるかを判断する記憶課題、明るさや動きなどの刺激の物理的特徴について判断する知覚的判断、その他、語彙判断、数量的判断、文章処理、選好判断など多岐にわたる。

　ドリフト拡散モデルは、逐次サンプリングモデル (sequential sampling model) の一種である。逐次サンプリングモデルでは、刺激が呈示されると生体は時間経過とともに感覚入力やこれまでの経験の記憶など、判断に必要な情報 (エビデンス) を蓄積していき、その蓄積が境界 (閾値) を越えた時に反応が出力されると仮定する。蓄積されるエビデンスはノイジーであり、確率的な揺らぎを伴うと仮定される (刺激自体がノイズを含む場合もあるが、その入力情報を伝える神経細胞の活動にもノイズが含まれると考えられる)。

　行動課題を実施した際に反応までにかかる時間は、図1に示すように、(1)刺激の読み込み、(2)エビデンスの蓄積、(3)反応 (ボタン押しなどの運動) に分解することができる。(1)刺激の読み込みと(3)反応は、判断に関わる過程ではないので、それにかかる時間は非決定時間 (non decision time) と呼ばれる。(2)エビデンスの蓄積にかかる時間は、決定時間 (decision time) と呼ばれる。ドリフト拡散モデルをはじめとする逐次サンプリングモデルを用いることで、非決定時間の推定と決定時間の生成に関わるパラメータの推定を行うことができる。

　ドリフト拡散モデルにおけるエビデンスの蓄積過程は、開始点 $z$ から始まり、一定のドリフト率に従ってエビデンスが蓄積される (図1)。そして、上下いずれかの境界までエビデンスが蓄積されると反応が出力される。図1の場合、上側の境界$a$に到達すると反応Aが出力され、下側の境界0に到達すると反応Bが出力される。開始点から境界$a$または0までの距離が長いほど、エビデンスの蓄積にかかる時間が長くなる。また、開始点から境界までの蓄積過程における速度は、ドリフト率に依存する。反応Aが正解である場合は、ドリフト率は正の値をとると仮定される。ドリフト率が大きいほど、境界まで到達する時間は短くなる。開始点、ドリフト率、境界、そして非決定時間がドリフト拡散モデルの振る舞いを決定する主なパラメータである。

　これらのパラメータの値には個人差 (個体差) があると考えられ、また、個人の中でも状態や実験条件などによって変化すると仮定される。例えば、生体が注意深く反応するほど境界パラメータ$a$は大きくなり、開始点と境界の間は広がると仮定される。逆に、素早い反応が求められる場合は$a$は小さくなると仮定される。一般に、意思決定におけるスピードと正確性の間には、片方を重視するともう片方が損なわれるというトレードオフがある。境界パラメータ$a$の変化を通して、ドリフト拡散モデルはそのようなスピードと正確性のトレードオフをとらえることができる。開始点パラメータ$z$は刺激に関する事前の期待に対応する。例えば、反応Aを起こすべき刺激の出現が期待される場合は、開始点パラメータは大きい ($a$に近い) 値をとると仮定される。

モデルの定式化

図2. ドリフト拡散モデルのエビデンス蓄積過程と、反応時間分布
ドリフト率や開始点、境界は試行間で固定している ($v=1,z=0.5,a=1$)。

　ここでは、反応Aと反応Bのいずれかの反応が求められる強制二肢選択課題を想定し、基本的なドリフト拡散モデルを考える。上側の境界を$a$、下側の境界を0, 開始点を$z$とする。上側の境界にエビデンスを表す変数$x$が到達した場合、そのタイミングで反応Aが起こり、下側の境界である0に到達したらそのタイミングで反応Bが起こると仮定する。

　刺激が呈示されてから、刺激情報の読み込みや反応の準備に必要な時間が経過してからエビデンスの蓄積が開始され、$x$が変化する。エビデンスの蓄積過程は以下の式のように連続時間上で定義される確率過程である、ウィーナー過程 (ブラウン運動) に従うとする。

$dx=vdt+\sigma dW$

ここで、$dx$ は微小な時間間隔 $dt$の間の$x$の変化を表す。$v$はドリフト率である。反応Aが正解である場合は$v>0$、反応Bが正解である場合は$v<0$とする。$\sigma dW$は平均が0で分散が$\sigma ^{2}dt$となる正規分布に従うホワイトノイズを表す。

　ウィーナー過程は$dt\to 0$という極限における連続時間上で定義されるが、計算機上でシミュレーションする場合は、離散時間で近似する必要がある。例えばシンプルな近似法としては以下のようなものがある。微小な時間幅$\Delta t$を考え (例えば$\Delta t=0.001$ (秒)とする)、平均0, 分散1の標準正規分布に従う正規乱数$\epsilon$を用いて、この時間幅$\Delta t$あたりの変数$x$の変化量を、以下の式で決定する。

$\Delta x=v\Delta t+\sigma \epsilon {\sqrt {\Delta t}}$

この式で$x$を更新していくことによりエビデンスの蓄積過程をシミュレートできる。図2の各軌道はこの方法により得られたものである。

　標準的なドリフト拡散モデルでは、開始点とドリフト率、および非決定時間は、試行間で変動すると仮定される。ドリフト率の試行間変動は、刺激に対する注意の変動などに対応すると考えられ、標準偏差$\eta$の正規分布に従って変動すると仮定される。この変動を仮定することで、正反応より誤反応の方が反応時間が長くなるという現象が説明可能となる。これは、ドリフト率が小さくなる試行において、ノイズの影響が強くなるため誤反応が起こりやすくなり、かつ反応時間が長くなるためである。

　開始点の試行間変動は区間$[z-s_{z},z+s_{z}]$の一様分布に従うと仮定される。これは、ある特定の刺激がどの程度呈示されやすいかについての期待が試行間で変動することを表現する。この変動により、誤反応が起こる試行で反応時間が短くなることが説明できる。これは、開始点が誤反応側の境界に寄っているときに、早い時間帯で誤反応が起きやすくなるためである。一度正反応の方に$x$が近づけば、開始点の影響はなくなるため、遅い時間帯では開始点の影響による誤反応は生じにくい。また、非決定時間も区間$[T_{er}-s_{t},T_{er}+s_{t}]$の一様分布に従うと仮定される。

　以上のように、標準的なドリフト拡散モデルのパラメータは、開始点の平均 ($z$)、開始点の試行間変動 ($s_{z}$)、ドリフト率の平均 ($v$)、ドリフト率の標準偏差 ($\eta$)、境界 ($a$)、非決定時間の平均 ($T_{er}$)、非決定時間の試行間変動 ($s_{t}$) の7つとなる。

選択確率および反応時間分布の理論解

　ドリフト拡散モデルの性質を調べるにはモデルのパラメータと反応時間の分布や選択確率の関係を知る必要がある。上述のようなドリフト拡散過程の計算機シミュレーションを多数回繰り返すことでそれらを数値的に得ることも可能であるが、それには大きな計算コストがかかる。

　ドリフト拡散モデルの利点は、確率過程等の数学の理論により理論的な選択確率や反応時間分布が解析的に求められることである。解析的に得られた選択確率や分布を用いることで、計算機シミュレーションをせずともパラメータが分布に及ぼす影響を調べることができる。また、理論的な選択確率や反応時間分布が実際のデータに合うようにパラメータを調整することで、パラメータを効率的に推定することも可能である。

　上述のドリフト拡散モデルにおいて、各パラメータを固定した場合 (試行間変動は仮定しない場合) には、それぞれの選択肢を選ぶ確率、およびその反応時間の分布は以下のように求められる 。下側の境界 (0) に到達し、反応Bが起こる確率は、ドリフト率$v$、境界$a$、開始点$z$の関数として、

$P(v,a,z)={\frac {e^{-2va/\sigma ^{2}}-e^{-2vz/\sigma ^{2}}}{e^{-2va/\sigma ^{2}}-1}}$

で与えられる。ただしドリフト率$v$が0だった場合はこの確率は

$P(v,a,z)=1-z/a$

となる。反応Bが起こり、かつ非決定時間を除いた反応時間が$t$となる条件付き確率密度は

$G(t,v,a,z)={\frac {\pi \sigma ^{2}}{a^{2}}}e^{-zv/\sigma ^{2}}\sum _{k=1}^{\infty }k\sin \left({\frac {\pi zk}{a}}\right)e^{-{\frac {1}{2}}(v^{2}/\sigma ^{2}+\pi ^{2}k^{2}\sigma ^{2}/a^{2})t}$

で与えられる。境界$a$に到達し反応Aが起こり、かつその反応時間が$t$となる確率密度は、上の式において$v$を$-v$で, $z$ を$a-z$で置き換えることで得られる。図2の上下の曲線はこれらの式により得られた条件付きの確率密度関数である。シミュレーションにより得た反応時間のヒストグラムも試行数が増えるにつれてこの分布に近づいていくことがわかる。

モデルフィッティング

　上記のように解析的に得られる反応時間の分布が実際のデータに近づくようにパラメータを調整することで、モデルのパラメータを推定することができる。また、複数ある候補のモデルからデータをよりよく説明するモデルを選択することも可能となる。パラメータの推定やモデル選択をする作業を総称してモデルフィッティングと呼ぶ。

　実験で収集された反応データに対して、モデルフィッティングをする方法として、χ²最小化、最尤法、重み付き最小二乗法、ベイズ推定等がある。モデルフィッティング用のソフトウェアとしては、以下がある。

• Fast-dm: Windowsで動作するソフトウェア。最尤推定、Kolmogorov-Smirnov、χ²最小化などの方法が可能である。
• DMAT:ドリフト拡散モデル用MATLABツールボックス。
• EZ2: ドリフト拡散モデルから試行間変動の推定を除いたシンプルなEZ拡散モデルを用いてモデルフィッティングするRパッケージ。
• HDDM: ドリフト拡散モデルを用いて階層ベイズ推定を行うPythonパッケージ。
• hBayesDM: 意思決定課題に対して階層ベイズ推定を行うRパッケージ。ドリフト拡散モデル以外にも様々な意思決定のモデルを用いることができる。
• rtdists: ドリフト拡散モデルをはじめとする反応時間のモデリングに有用な関数が含められたRパッケージ。

　それぞれのモデルや推定方法には仮定がおかれていることがあり、モデルフィッティングに用いるデータがその仮定に合っているかどうかは事前に確認する必要がある。各種推定法に関する専門家による推奨については、Boehmらの論文にまとめられている。

　ドリフト拡散モデルでのモデルフィッティングにあたっては、十分なデータ数が必要になる。特に反応時間の分布の情報を用いてパラメータ推定をする方法では、試行数が100程度の場合はドリフト拡散モデルの試行間変動性にかかわるパラメータの推定が真値からずれることが示されている。試行間変動性のパラメータの推定にはできるだけ多くの試行数が必要になるが、試行数を増やすと参加者の動機づけが低下する、疲れの影響が出る、などの問題も生じる。また、そもそも試行数を増やすことが難しい実験状況も多い。そこで、パラメータ推定にあたり、参加者集団のパタメータの分布も仮定した階層ベイズ推定を行うことで、各参加者の試行数は少なくとも安定した推定をする方法も提案されている。

適用事例

図3.反応時間分布に及ぼすドリフト率 (左) 開始点パラメータ (右) の影響
破線は比較のための基準となるモデル ($v=1.0$, $z=0.5$, $a=1.0$) を表す。縦軸のスケールが異なるが、左右のパネルで同じ分布である。左のパネルではドリフト率を大きくした場合 ($v=2.0$) 、右のパネルでは開始点を高くした場合 ($z=0.7$) の結果をそれぞれ実線で表している。

　ドリフト拡散モデルを用いることで、反応分布の形状の情報を利用することが可能となり、単純な平均反応時間の解析では取りこぼされていた情報を利用して詳細なプロセスを検討することができる。

　例えば、開始点パラメータ$z$を増加させることと、ドリフト率$v$を増加させることはいずれも反応Aの選択確率を増加させ、その平均的な反応時間を短くする効果があるが、その反応時間分布の形状に与える影響が異なる。図3の左のパネルでは、開始点パラメータ$z$を固定し、ドリフト率を増加させている (実線が増加後)。この場合、反応Aの確率が高くなり、速い反応時間の密度が増加するため平均反応時間は短くなるが、反応時間の分布のピーク (最も密度が高くなる位置) はほとんど変化しない。一方、開始点パラメータ$z$を$a$に近づけた場合 (図3右) は、反応Aの反応時間分布のピークが早い時間帯にシフトし、分布の歪みが大きくなっている。

　ヒトやその他の動物の意思決定には、現在の感覚入力や過去の選択の結果のみならず、過去の選択履歴が次の選択に影響することが知られている。同じ選択を繰り返す傾向は選択の慣性 (inertia) や固執性 (perseverance) と呼ばれている。そのような傾向はドリフト拡散モデルにおいてエビデンスの蓄積の開始点にバイアスを与えるという解釈が可能である。

　しかし、実際の知覚的意思決定課題における選択データにおいては、過去と同じ選択肢が選ばれる効果は、図3左のように比較的反応が遅い場合でも見られ、そのようなデータは開始点よりはむしろドリフト率が過去と同じ選択をする方向にバイアスがかかると仮定するモデルでよく説明される。この事実は、選択履歴の効果が、知覚的なエビデンスの蓄積過程に影響するということを示唆している。

　ドリフト拡散モデルのパラメータの推定値を利用して、選択に関するプロセスの個人差に影響する要因も検討されている。代表的な事例は加齢の効果について調べたものである。例えば高齢者は一般に多くの認知課題において若年者に比べて反応が遅くなることが示されているが、ドリフト拡散モデルを適用して検討した研究では、高齢者の反応には長い非決定時間、そして境界の間隔が大きいという特徴はあるものの、ドリフト率には若年者との違いはないということが報告されている。

　一方で、幼児では境界パラメータが大きく、非決定時間が長いことに加え、ドリフト率も比較的小さいことが示されている。また、注意欠如・多動症 (ADHD) や読字障害 (dyslexia) を有する若年者はそうでない統制群に比べ、ドリフト率が低い傾向があることを示した研究もある。知能指数 (IQ) に関しては、高IQ群は低IQ群よりドリフト率が2倍程度高いという結果が報告されている 。

神経活動との関連

　主にサルを被験体とした単一細胞レベルでの神経活動記録により、エビデンスの蓄積過程に対応する神経活動が検討されてきた。例えば視線でターゲットを選択することで反応する意思決定課題においては、ターゲットの方向へのサッケード時に選択的に活動するLIP野 (lateral intraparietal cortex) の細胞は刺激の呈示とともに徐々に活動が増加し、その発火率 (単位時間あたりの活動電位の数) がある閾値に到達したときにサッケード反応が起こるということが観測されている。その振る舞いはドリフト拡散モデルをはじめとする逐次サンプリングモデルと対応付けられて議論されている。

　ヒトを対象とした研究においては、fMRIや脳波でとらえられた神経活動とドリフト拡散モデルが関連づけられて分析されている。fMRIや脳波ではドリフト拡散モデルの試行内のダイナミクスに対応するような細胞単位の活動の変化を計測することは難しい。そのため、主にドリフト拡散モデルのパラメータの試行間変動と神経活動の試行間変動の関連に注目した分析がなされている 。例えば、fMRIで観測される視床下核の活動を反映するBOLD信号や、脳波から観測される前頭正中線θリズム等がドリフト拡散モデルの境界パラメータに影響することを仮定した分析が行われている 。

その他の逐次サンプリングモデル

図4.逐次サンプリングモデルの種類
Ratcliff et al.,2016を元に一部改変。

　逐次サンプリングモデルは、ドリフト拡散モデルだけではない。図4に示すように、逐次サンプリングモデルは、エビデンスの蓄積に関する基準が絶対的 (選択肢ごとに独立にエビデンスを蓄積する) か相対的 (選択肢の間のエビデンスの差を蓄積する) か、対象とする時間が連続的か離散的か、蓄積するエビデンスが連続的か離散的か、ドリフト率が固定か変化するかなどによって分類することができる。

　ドリフト拡散モデルは、逐次サンプリングモデルの代表的なモデルであるが、モデルの設定においては複数あるモデルの１つの形式であると言える（代表的な逐次サンプリングモデルのモデル間の差異については、Ratcliff & Smith (2004)を参照）。

図5.線形弾道蓄積モデルにおける反応と反応時間の生成過程

　ドリフト拡散モデル以外の代表的な逐次サンプリングモデルとして、線形弾道蓄積モデルがある。図5にあるように、線形弾道蓄積モデルは、ドリフト拡散モデルと類似しているが、エビデンスの蓄積の基準が絶対的なことと確率的ではない点が異なる。

　ドリフト拡散モデルでは、反応はエビデンス蓄積が上の境界と下の境界のどちらに到達するかで決まる相対的なものであった。一方、線形弾道蓄積モデルでは、それぞれの反応は独立してエビデンスの蓄積を行って、最終的に先に閾値($b$)に到達した反応が出力される（図5の場合、先に$b$に到達した反応Aが出力される）。

　エビデンスの蓄積が始まる点を開始点($a$)と呼び、選択肢で同一のこともあるが、異なることもある。開始点の位置の違いは、エビデンスの蓄積の前に存在する選択肢に対するバイアスとして解釈される。ドリフト拡散モデルと同様にエビデンスの蓄積の速さはドリフト率($d$)が決めるが、蓄積過程は線形かつ非確率的である。各試行のドリフト率($d$)は、平均$v$、標準偏差$s$の正規分布に従い、各試行の開始点($a$)は、0から$A$(開始点の上限)の一様分布に従う。決定時間は、$(b-a)/d$で求めることができ、非決定時間 ($\tau$)は、全試行で一定とする。

　$a$と$d$は、推定するパラメータではなく、$v,b,A,s,\tau$が推定するパラメータになる。線形弾道蓄積モデルは、ドリフト拡散モデルよりも推定するパラメータが少なく、選択肢が３つ以上ある状況にも適用できるという利点がある。

強化学習モデルとの統合

　ドリフト拡散モデルは試行内の刺激呈示から反応出力 (選択) までのプロセスを表現するモデルであるが、試行間の選択傾向の変化を表す他の数理モデルと組み合わせることもできる。例えば、報酬に基づく学習のプロセスを表現する代表的なモデルである強化学習モデルと組み合わせた枠組みが提案されている。

　一般の強化学習モデルでは、行動の結果与えられる報酬に基づいて各行動の価値が計算され、価値の高い行動が高い確率で選択される。ドリフト拡散モデルのドリフト率をこの行動の価値の関数にすることで、選択肢の価値の差が小さいほど反応が競合し、反応時間が長くなるという効果を表すことができる。このように強化学習モデルを組み合わせて用いることで、ドリフト拡散モデルによる反応時間や選択の予測が改善できる。また、逆にドリフト拡散モデルにより反応時間の情報を用いることで、強化学習モデルのパラメータの信頼性も改善されるという報告もある 。