16,039
回編集
「サリエンシー」の版間の差分
ナビゲーションに移動
検索に移動
細
→サリエンシー・マップ(saliency map)
細編集の要約なし |
|||
| 32行目: | 32行目: | ||
視覚でのpop-outに類似した現象として、聴覚の心理学ではoddball paradigmというものが用いられる。このoddball paradigmでは、ピ、ピ、ピと連続する純音刺激に違う周波数の純音が混ざったり、または音が鳴らなかった場合(deviantsと呼ばれる)にはその時に注意が誘引される。この場合は空間ではなくて、時間的配列がボトムアップ性注意を誘引する例と言える。 | 視覚でのpop-outに類似した現象として、聴覚の心理学ではoddball paradigmというものが用いられる。このoddball paradigmでは、ピ、ピ、ピと連続する純音刺激に違う周波数の純音が混ざったり、または音が鳴らなかった場合(deviantsと呼ばれる)にはその時に注意が誘引される。この場合は空間ではなくて、時間的配列がボトムアップ性注意を誘引する例と言える。 | ||
== サリエンシー・マップ | == サリエンシー・マップ== | ||
saliency map | |||
[[Image:サリエンシー3.png|thumb|300px|'''図2．サリエンシー計算論モデルでの主なステップ'''<br>入力する視覚情報は並行処理によって[1] | [[Image:サリエンシー3.png|thumb|300px|'''図2．サリエンシー計算論モデルでの主なステップ'''<br>入力する視覚情報は並行処理によって[1]低レベルの視覚特徴ごとに分析が行われ、[[側抑制]]メカニズムによって<ref name=ref1><pubmed> 3836989 </pubmed></ref>特徴ごとのサリエンシー(特徴マップ)が計算される。それらの特徴マプを足し合わせることで単一の<ref name=ref2>'''L. Itti, C. Koch, & E. Niebur'''<br>A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.<br>''IEEE Transactions on Pattern Analysis and Machine Intelligence'': 1998, 20(11):1254-1259.</ref>サリエンシー・マップが計算される。<ref><pubmed>28044023</pubmed></ref>より許可のもと改変して作成。/ CC-BY 4.0)]] | ||
[[Image:Masatoshiyoshida_fig_2.png|thumb|300px|'''図3．サリエンシー・マップ''']] | [[Image:Masatoshiyoshida_fig_2.png|thumb|300px|'''図3．サリエンシー・マップ''']] | ||
特徴統合理論はあくまで心理学的な理論であったが、計算論的立場からどのようにボトムアップ性注意が計算されているかを説明するモデルとして「[[サリエンシー・マップ]]」が提唱された<ref name=ref1><pubmed> 3836989 </pubmed></ref>。 | |||
サリエンシー・マップとは、特徴に依存しない視覚刺激のサリエンシーを[[wj:スカラー量|スカラー量]]として計算して、二次元マップとして表現したもののことを指す。 | |||
サリエンシー・マップの機能的な特徴としては以下の二つがあげられる。 | サリエンシー・マップの機能的な特徴としては以下の二つがあげられる。 | ||
* 並行処理：特徴統合理論からの影響を受けているため、サリエンシーはまず各特徴ごとに計算されて、特徴マップを作る。 | * 並行処理：特徴統合理論からの影響を受けているため、サリエンシーはまず各特徴ごとに計算されて、特徴マップを作る。 | ||
* Winner-take- | * [[Winner-take-allルール]]：これら複数の特徴マップが足しあわされて計算されたサリエンシー・マップの中からいちばんサリエンシーの高い部分が選択される。 | ||
Koch and Ulman | Koch and Ulman<ref name=ref1></ref>においてはあくまで計算の原理のモデルであったのだが、それを実際の画像から計算できるようなモデルとして実現したのがItti, Koch and Neiburによるサリエンシー計算論モデルだった（図2）<ref name=ref2>'''L. Itti, C. Koch, & E. Niebur'''<br>A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.<br>''IEEE Transactions on Pattern Analysis and Machine Intelligence'': 1998, 20(11):1254-1259.</ref>。 | ||
このモデルのアルゴリズムレベルでの特色としては、 | このモデルのアルゴリズムレベルでの特色としては、 | ||
* | * 各特徴ごとのサリエンシーを計算するため、[[center-surround抑制]]を用いる。 | ||
* さまざまな解像度(pyramids)でこの作業を並行して行う(画像処理の分野でのmulti-scale representationに対応) 。 | * さまざまな解像度(pyramids)でこの作業を並行して行う(画像処理の分野でのmulti-scale representationに対応) 。 | ||
* 以上の操作を繰り返して正規化する(iterative normalization)。 | * 以上の操作を繰り返して正規化する(iterative normalization)。 | ||
| 57行目: | 57行目: | ||
がある 。 | がある 。 | ||
この計算論モデルは[[wj:C++|C++]]ソフトウェアとして、[http://ilab.usc.edu/toolkit/ 南カリフォルニア大学Ittiラボ]より、ソースが[[wj:GNU General Public License|GNU General Public License]]に基づいて入手できるようになっている。 | |||
このソフトウェアを使って図1の画像のサリエンシーを計算したのが図3となる。 | このソフトウェアを使って図1の画像のサリエンシーを計算したのが図3となる。 | ||
ほかにも[[wj:Matlab|Matlab]]でのサリエンシー・マップを計算するプログラムとして以下のものがwebから入手可能である。 | |||
* [http://www.saliencytoolbox.net/ SaliencyToolbox] | * [http://www.saliencytoolbox.net/ SaliencyToolbox] | ||