「ドリフト拡散モデル」の版間の差分

''国立研究開発法人 産業技術総合研究所 人間情報インタラクション研究部門''<br>

''専修大学 人間科学部心理学科''<br>

 

英語名：drift diffusion model

{{box|text=

==ドリフト拡散モデルの概要==

[[Image:DDMの概要.png|thumb|420px|<b>図1．ドリフト拡散モデルにおける反応と反応時間の生成過程</b>]]

<ref name=Ratclif1978><b>Ratcliff, R.(1978).</b><br>A theory of memory retrieval.<br><i>Psychological Review</i> 1978, 85(2);59–108</ref>により提案され，心理学や神経科学における反応時間のモデリングにおいて，幅広く用いられている<ref name=Ratclif2016><pubmed>26952739</pubmed></ref>。

　ドリフト拡散モデルは，逐次サンプリングモデル (sequential sampling model) の一種である。逐次サンプリングモデルでは，刺激が呈示されると生体は時間経過とともに感覚入力やこれまでの経験の記憶など，判断に必要な情報 (エビデンス) を蓄積していき，その蓄積が境界 (閾値) を越えた時に反応が出力されると仮定する。蓄積されるエビデンスはノイジーであり，確率的な揺らぎを伴うと仮定される (刺激自体がノイズを含む場合もあるが，その入力情報を伝える神経細胞の活動にもノイズが含まれると考えられる)。行動課題を実施した際に反応までにかかる時間は，図1に示すように，(1)刺激の読み込み，(2)エビデンスの蓄積，(3)反応 (ボタン押しなどの運動) に分解することができる。(1)刺激の読み込みと(3)反応は，判断に関わる過程ではないので，それにかかる時間は非決定時間 (non decision time) と呼ばれる。(2)エビデンスの蓄積にかかる時間は，決定時間 (decision time) と呼ばれる。ドリフト拡散モデルをはじめとする逐次サンプリングモデルを用いることで，非決定時間の推定と決定時間の生成に関わるパラメータの推定を行うことができる。

　ドリフト拡散モデルにおけるエビデンスの蓄積過程は，開始点<math>z</math>から始まり，一定のドリフト率に従ってエビデンスが蓄積される (図1)。そして，上下いずれかの境界までエビデンスが蓄積されると反応が出力される。図1の場合，上側の境界<math>a</math>に到達すると反応Aが出力され，下側の境界0に到達すると反応Bが出力される。開始点から境界<math>a</math>または0までの距離が長いほど，エビデンスの蓄積にかかる時間が長くなる。また，開始点から境界までの蓄積過程における速度は，ドリフト率に依存する。反応Aが正解である場合は，ドリフト率は正の値をとると仮定される。ドリフト率が大きいほど，境界まで到達する時間は短くなる。開始点，ドリフト率，境界，そして非決定時間がドリフト拡散モデルの振る舞いを決定する主なパラメータである。

　これらのパラメータの値には個人差 (個体差) があると考えられ，また，個人の中でも状態や実験条件などによって変化すると仮定される。例えば，生体が注意深く反応するほど境界パラメータ<math>a</math>は大きくなり，開始点と境界の間は広がると仮定される<ref name=Ratclif2016 />。逆に，素早い反応が求められる場合は<math>a</math>は小さくなると仮定される。一般に，意思決定におけるスピードと正確性の間には，片方を重視するともう片方が損なわれるというトレードオフがある。境界パラメータ<math>a</math>の変化を通して，ドリフト拡散モデルはそのようなスピードと正確性のトレードオフをとらえることができる。開始点パラメータ<math>z</math>は刺激に関する事前の期待に対応する。例えば，反応Aを起こすべき刺激の出現が期待される場合は，開始点パラメータは大きい (<math>a</math>に近い) 値をとると仮定される。

[[Image:DDM_animation.gif|thumb|320px|<b>図2．ドリフト拡散モデルのエビデンス蓄積過程と，反応時間分布。</b>ドリフト率や開始点，境界は試行間で固定している (<math>v = 1, z = 0.5, a = 1</math> )。]]

　ここでは，反応Aと反応Bのいずれかの反応が求められる強制二肢選択課題を想定し，基本的なドリフト拡散モデルを考える。上側の境界を<math>a</math>，下側の境界を0, 開始点を<math>z</math>とする。上側の境界に決定変数 (decision variable) <math>x</math>が到達した場合，そのタイミングで反応Aが起こり，下側の境界である0に到達したらそのタイミングで反応Bが起こると仮定する。刺激が呈示されてから，刺激情報の読み込みや反応の準備に必要な時間が経過してからエビデンスの蓄積が開始され，<math>x</math>が変化する。エビデンスの蓄積過程は以下の式のように連続時間上で定義される確率過程である，ウィーナー過程 (ブラウン運動) に従うとする。

<math>dx = v dt + \sigma dW</math>

ここで，<math>dx</math> は微小な時間間隔 <math>dt</math>の間の<math>x</math>の変化を表す。<math>v</math>はドリフト率である。反応Aが正解である場合は<math>v > 0</math>，反応Bが正解である場合は<math>v < 0</math>とする。<math>\sigma dW</math>は平均が0で分散が<math>\sigma^2 dt</math>となる正規分布に従うホワイトノイズを表す。ウィーナー過程は<math>dx \to 0</math>という極限における連続時間上で定義されるが，計算機上でシミュレーションする場合は，離散時間で近似する必要がある。例えばシンプルな近似法としては以下のようなものがある。微小な時間幅<math>\Delta t</math>を考え (例えば<math>\Delta t = 0.001</math> (秒)とする)，平均0, 分散1の標準正規分布に従う正規乱数<math>\epsilon</math>を用いて，この時間幅<math>\Delta t</math>あたりの変数<math>x</math>の変化量を，以下の式で設定する。

<math>\Delta x = v \Delta t + \sigma \epsilon \sqrt{\Delta t} </math>

この式で<math>x</math>を更新していくことによりエビデンスの蓄積過程をシミュレートできる。図2の各軌道はこの方法により得られたものである。

　標準的なドリフト拡散モデルでは，開始点とドリフト率，および非決定時間は，試行間で変動すると仮定される<ref name=Ratclif1978 />。ドリフト率の試行間変動は，刺激に対する注意の変動などに対応すると考えられ，標準偏差<math>\eta</math>の正規分布に従って変動すると仮定される。この変動を仮定することで，正反応より誤反応の方が反応時間が長くなるという現象が説明可能となる。これは，ドリフト率が小さくなる試行では，ノイズの影響が強くなるため誤反応が起こりやすくなり，かつ反応時間が長くなるためである。開始点の試行間変動は区間<math>[z-s_{z}, z+s_{z}]</math>の一様分布に従うと仮定される。これは，ある特定の刺激がどの程度呈示されやすいかについての期待が試行間で変動することを表現する。この変動により，誤反応が起こる試行で反応時間が短くなることが説明できる。これは，開始点が誤反応側の境界に寄っているときに，早い時間帯で誤反応が起きやすくなるためである。一度正反応の方に決定係数が近づけば，開始点の影響はなくなるため，遅い時間帯では開始点の影響による誤反応は生じにくい。また，非決定時間も区間<math>[T_{er}-s_{t}, T_{er}+s_{t}]</math>の一様分布に従うと仮定される。

　以上より，標準的なドリフト拡散モデルのパラメータは，開始点の平均 (<math>z</math>)，開始点の試行間変動 (<math>s_{z}</math>)，ドリフト率の平均 (<math>v</math>)，ドリフト率の標準偏差 (<math>\eta</math>)，境界 (<math>a</math>)，非決定時間の平均 (<math>T_{er}</math>)，非決定時間の試行間変動 (<math>s_{t}</math>) の7つとなる。

　上述のドリフト拡散モデルにおいて，各パラメータを固定した場合 (試行間変動は仮定しない場合) には，それぞれの選択肢を選ぶ確率，およびその反応時間の分布は以下のように求められる <ref name=Ratclif1978 />。下側の境界 (0) に到達し，反応Bが起こる確率は，ドリフト率<math>v</math>，境界<math>a</math>，開始点<math>z</math>の関数として，

<math>P(v, a, z) = \frac{e^{-2va/\sigma^2}-e^{-2vz/\sigma^2}}{e^{-2va/\sigma^2}-1}</math>

<math>P(v, a, z) = 1 - z/a</math>

となる。さらに，反応Bが起こり，かつ非決定時間を除いた反応時間が<math>t</math>となる条件付き確率密度は

<math>G(t, v, a, z) = \frac{\pi \sigma^2}{a^2} e^{-zv/\sigma^2} \sum_{k=1}^\infty k \sin \left(\frac{\pi z k}{a}\right) e^{-\frac{1}{2} (v^2 / \sigma^2 + \pi^2 k^2 \sigma^2/a^2)t} </math>

で与えられる。境界<math>a</math>に到達し反応Aが起こり，かつその反応時間が<math>t</math>となる確率密度は，上の式において<math>v</math>を<math>-v</math>で, <math>z</math> を<math>a -z</math>で置き換えることで得られる。図2の上下の曲線はこれらの式により得られた条件付きの確率密度関数である。シミュレーションにより得た反応時間のヒストグラムもサンプルが増えるにつれてこの分布に近づいていくことがわかる。

実験で収集された反応データに対して，モデルフィッティングをする方法として，<math>\chi^{2}</math>最小化，最尤法，重み付き最小二乗法，ベイズ推定等がある<ref><pubmed> 12412886</pubmed></ref>。モデルフィッティング用のソフトウェアとしては，以下がある。

* Fast-dm<ref><pubmed>18183889</pubmed></ref>: Windowsで動作するソフトウェア。最尤推定，Kolmogorov-Smirnov，<math>\chi^{2}</math>最小化などの方法が可能である。

* HDDM<ref><pubmed>23935581</pubmed></ref>: ドリフト拡散モデルを用いて階層ベイズ推定を行うPythonパッケージ。

* hBayesDM<ref><pubmed>29601060</pubmed></ref>: 意思決定課題に対して階層ベイズモデリングを行うRパッケージ。ドリフト拡散モデル以外にも様々な意思決定のモデルを用いることができる。

　それぞれのモデルや推定方法には仮定がおかれていることがあり，モデルフィッティングに用いるデータがその仮定に合っているかどうかは事前に確認する必要がある。各種推定法に関する専門家による推奨については，Boehmらの論文<ref name=Boehm2018><b>Boehm, U., Annis, J., Frank, M. J., Hawkins, G. E., Heathcote, A., Kellen, D., Krypotos, A.-M., Lerche, V., Logan, G. D., Palmeri, T. J., van Ravenzwaaij, D., Servant, M., Singmann, H., Starns, J. J., Voss, A., Wiecki, T. V., Matzke, D., & Wagenmakers, E.-J.(2018). </b><br>Estimating across-trial variability parameters of the Diffusion Decision Model: Expert advice and recommendations.<br><i>Journal of Mathematical Psychology</i>, 87, 46–75</ref>にまとめられている。また，ドリフト拡散モデルでのモデルフィッティングにあたっては，十分なデータ数が必要になる。特に反応時間の分布の情報を用いてパラメータ推定をする方法では，試行数が100程度の場合はドリフト拡散モデルの試行間変動性にかかわるパラメータの推定が真値からずれることが示されている<ref><pubmed>18229471</pubmed></ref>。そのため，試行間変動性にかかわるパラメータの推定を行う場合は，できるだけ多くの試行数が必要になるが，試行数を増やすと参加者の動機づけが低下する，疲れの影響が出る，などの問題も生じる。また，そもそも試行数を増やすことが難しい実験状況も多い<ref name=Boehm2018 />。そこで，パラメータ推定にあたり，参加者集団のパタメータの分布も仮定した階層ベイズ推定を行うことで，各参加者の試行数は少なくとも安定した推定をする方法も提案されている<ref><pubmed>23935581</pubmed></ref><ref><pubmed>29601060</pubmed></ref>。

[[Image:DDM_z_vs_v.png|thumb|420px|<b>図3．反応時間分布に及ぼすドリフト率 (左) 開始点パラメータ (右) の影響。</b>破線は比較のための基準となるモデル (<math>v = 1.0, z = 0.5, a = 1.0</math>) を表す。縦軸のスケールが異なるが，左右のパネルで同じ分布である。左のパネルではドリフト率を大きくした場合 (<math>v = 2.0</math>) ，右のパネルでは開始点を高くした場合 (<math>z = 0.7</math>) の結果をそれぞれ実線で表している。]]

　ドリフト拡散モデルを用いることで，反応分布の形状の情報を利用することが可能となり，単純な平均反応時間の解析では取りこぼされていた情報を利用して詳細なプロセスを検討することができる。例えば，開始点パラメータ<math>z</math>を増加させることと，ドリフト率<math>v</math>を増加させることはいずれも反応Aの選択確率を増加させ，その平均的な反応時間を短くする効果があるが，その反応時間分布の形状に与える影響が異なる。図3の左のパネルでは，開始点パラメータ<math>z</math>を固定し，ドリフト率を増加させている (実線が増加後)。この場合，反応Aの確率が高くなり，速い反応時間の密度が増加するため平均反応時間は短くなるが，反応時間の分布のピーク (最も密度が高くなる位置) はほとんど変化しない。一方，開始点パラメータ<math>z</math>を<math>a</math>に近づけた場合 (図3右) は，反応Aの反応時間分布のピークが速い時間帯にシフトし，分布の歪みが大きくなっている。

　ヒトやその他の動物の意思決定には，現在の感覚入力や過去の選択の結果のみならず，過去の選択履歴が次の選択に影響することが知られている。同じ選択を繰り返す傾向は選択の慣性 (inertia) や固執性 (perseverance) と呼ばれている<ref><pubmed>24333055</pubmed></ref>。そのような傾向はドリフト拡散モデルではエビデンスの蓄積の開始点にバイアスを与えるという解釈が可能である。しかし，実際の知覚的意思決定課題における選択データにおいては，過去と同じ選択肢が選ばれる効果は，図3左のように比較的反応が遅い場合でも見られ，そのようなデータは開始点よりはむしろドリフト率が過去と同じ選択をする方向にバイアスがかかるとするモデルでよく説明されることが報告されている<ref><pubmed>31264959</pubmed></ref>。この結果は，選択履歴の効果が，知覚的なエビデンスの蓄積過程に影響するということを示唆している。

　ドリフト拡散モデルのパラメータの推定値を利用して，選択に関するプロセスの個人差に影響する要因も検討されている。代表的な事例は加齢の効果について調べたものである。例えば高齢者は一般に多くの認知課題において反応が遅くなることが示されているが，ドリフト拡散モデルを適用して検討した研究では，高齢者の反応には長い非決定時間，そして境界の間隔が大きいという特徴はあるものの，ドリフト率には若年者との違いはないということが報告されている<ref><pubmed>19962693</pubmed></ref>。一方で，幼児では境界分離が大きく，非決定時間が長いことに加え，ドリフト率も比較的小さいことが示されている<ref><pubmed>22188547</pubmed></ref>。また，注意欠如・多動症 (ADHD) や読字障害 (dyslexia) を有する若年者はそうでない統制群に比べ，ドリフト率が低い傾向があることを示した研究もある<ref><pubmed>20926067</pubmed></ref><ref><pubmed>22010894</pubmed></ref>。一般知能 (IQ) に関しては，高IQ群は低IQ群よりドリフト率が2倍程度高いという結果が報告されている <ref><pubmed>19962693</pubmed></ref> <ref><pubmed>21707207</pubmed></ref> 。

　主にサルを対象とした単一細胞レベルでの神経活動記録により，エビデンスの蓄積過程に対応する神経活動が検討されてきた。例えば視線でターゲットを選択することで反応する意思決定課題においては，ターゲットの方向へのサッケード時に選択的に活動するLIP野 (lateral intraparietal cortex) の細胞は刺激の呈示とともに徐々に活動が増加し，ある閾値に到達したときにサッケード反応が起こるということが観測されている。その振る舞いはドリフト拡散モデルをはじめとする逐次サンプリングモデルと対応付けられて議論されている<ref><pubmed>8570606</pubmed></ref>。

[[Image:逐次サンプリングモデルの図.png|thumb|520px|<b>図4．逐次サンプリングモデルの種類</b>（Ratcliff et al.,2016<ref name=Ratclif2016 />を元に一部改変）]]

　逐次サンプリングモデルは，ドリフト拡散モデルだけではない。図4に示すように，逐次サンプリングモデルは，エビデンスの蓄積に関する基準が絶対的 (選択肢ごとに独立にエビデンスを蓄積する) か相対的 (選択肢の間のエビデンスの差を蓄積する) か，対象とする時間が連続的か離散的か，蓄積するエビデンスが連続的か離散的か，ドリフト率が固定か変化するかなどによって分類することができる。ドリフト拡散モデルは，逐次サンプリングモデルの代表的なモデルであるが，モデルの設定においては複数あるモデルの１つの形式であると言える（代表的な逐次サンプリングモデルのモデル間の差異については，Ratcliff & Smith (2004)<ref><pubmed>15065913</pubmed></ref>を参照）。

[[Image:LBAの概要.png|thumb|420px|<b>図5．線形弾道蓄積モデルにおける反応と反応時間の生成過程</b>]]<br>

==モデルの拡張 (強化学習モデルとの統合)==

　ドリフト拡散モデルは試行内の刺激呈示から反応出力 (選択) までのプロセスを表現するモデルであるが，試行間の選択傾向の変化を表す他の数理モデルと組み合わせることもできる。例えば，報酬に基づく学習のプロセスを表現する代表的なモデルである強化学習モデルと組み合わせた枠組みが提案されている<ref><pubmed>27966103</pubmed></ref><ref><pubmed>25589744</pubmed></ref>。一般の強化学習モデルでは，行動の結果与えられる報酬に基づいて各行動の価値が計算され，価値の高い行動が高い確率で選択される。ドリフト拡散モデルのドリフト率をこの行動の価値の関数にすることで，選択肢の価値の差が小さいほど反応が競合し，反応時間が長くなるという効果を表すことができる。このように強化学習モデルを組み合わせて用いることで，ドリフト拡散モデルによる反応時間や選択の予測が改善できる。また，逆にドリフト拡散モデルにより反応時間の情報を用いることで，強化学習モデルのパラメータの信頼性も改善されるという報告もある <ref><pubmed>30759077</pubmed></ref>。