脳科学辞典

「サリエンシー」の版間の差分

← 古い編集新しい編集 →
細 2016年を2017年に変更しました。
細編集の要約なし
(3人の利用者による、間の11版が非表示)
1行目: 1行目:
<div align="right"> 
<font size="+1">[http://researchmap.jp/masatoshiyoshida 吉田 正俊]</font><br>
''自然科学研究機構生理学研究所 発達生理学研究系・認知行動発達研究部門''<br>
DOI：<selfdoi />　原稿受付日：2012年12月21日　原稿完成日：2017年2月7日<br>
担当編集委員：[http://researchmap.jp/keijitanaka 田中 啓治]（独立行政法人理化学研究所 脳科学総合研究センター）<br>
</div>
英語名：saliency  
英語名：saliency  


類語・同義語：顕著性、サリエンス(salience)、セイリエンス(salience)、セイランシー
類語・同義語：顕著性、サリエンス(salience)。


{{box|text=
　[[感覚]]刺激が刺激の時間的または空間的配置によって[[ボトムアップ性注意]]を誘引する特性を「サリエンシー」と呼ぶ。「サリエンシー・マップ」とは、視覚刺激のサリエンシーを計算して特徴に依存したい単一の二次元スカラー量として表現したもののことを指す。これは計算論的概念であって、脳にサリエンシー・マップが表現されている保証はない。しかしながら、サリエンシー・マップが表象されている部分としてこれまでに、[[一次視覚野]]（[[V1]]）、[[上丘]]、[[視床枕]]、[[LIP]]、[[FEF]]などがその候補としてあげられている。
　[[感覚]]刺激が刺激の時間的または空間的配置によって[[ボトムアップ性注意]]を誘引する特性を「サリエンシー」と呼ぶ。「サリエンシー・マップ」とは、視覚刺激のサリエンシーを計算して単一の二次元マップとして表現したもののことを指す。これは計算論的概念であって、脳にサリエンシー・マップが表現されている保証はない。しかしながら、サリエンシー・マップが表象されている部分としてこれまでに、[[一次視覚野]]（primary visual cortex: [[V1]]）、[[上丘]]、[[視床枕]]、[[Lateral intraparietal area]] ([[LIP]])、[[frontal eye field]] ([[FEF]]) などがその候補としてあげられている。
}}


== サリエンシーとは ==
== サリエンシーとは ==
30行目: 21行目:
　このような知見を元にしてAnn Triesmanは注意の「[[特徴統合理論]]」(feature integration theory)を作り上げた<ref><pubmed> 7351125 </pubmed></ref>。特徴統合理論では、視野像は各特徴(輝度、色、傾きなど)ごとに並行して処理され、それらの特徴が最終的に統合される。よって、図1左の色のpop-out刺激では、色特徴の処理の段階で仲間はずれを検出することが出来るので処理が速いのだが、図1右のconjunction searchでは統合された情報を探索しなければならないために処理が遅くなる、と説明される。
　このような知見を元にしてAnn Triesmanは注意の「[[特徴統合理論]]」(feature integration theory)を作り上げた<ref><pubmed> 7351125 </pubmed></ref>。特徴統合理論では、視野像は各特徴(輝度、色、傾きなど)ごとに並行して処理され、それらの特徴が最終的に統合される。よって、図1左の色のpop-out刺激では、色特徴の処理の段階で仲間はずれを検出することが出来るので処理が速いのだが、図1右のconjunction searchでは統合された情報を探索しなければならないために処理が遅くなる、と説明される。


　視覚でのpop-outに類似した現象として、聴覚の心理学ではoddball paradigmというものが用いられる。このoddball paradigmでは、ピ、ピ、ピと連続する純音刺激に違う周波数の純音が混ざったり、または音が鳴らなかった場合(deviantsと呼ばれる)にはその時に注意が誘引される。この場合は空間ではなくて、時間的配列がボトムアップ性注意を誘引する例と言える。　
　同様な現象は他のモダリティー、たとえば音刺激でも見られる。たとえば聴覚でのoddball taskでは、ピ、ピ、ピと連続する純音刺激に違う周波数の純音が混ざったり、または音が鳴らなかった場合にはその時に注意が誘引される。この場合は空間ではなくて、時間的配列がボトムアップ性注意を誘引する例と言える。


== サリエンシー・マップ==
== サリエンシー・マップ(saliency map) ==
saliency map
  [[Image:サリエンシー3.png|thumb|300px|'''図2．サリエンシー計算論モデルでの主なステップ'''<br>入力する視覚情報は並行処理によって[1]低レベルの視覚特徴ごとに分析が行われ、[[側抑制]]メカニズムによって<ref name=ref1><pubmed> 3836989 </pubmed></ref>特徴ごとのサリエンシー(特徴マップ)が計算される。それらの特徴マプを足し合わせることで単一の<ref name=ref2>'''L. Itti, C. Koch, & E. Niebur'''<br>A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.<br>''IEEE Transactions on Pattern Analysis and Machine Intelligence'': 1998,  20(11):1254-1259.</ref>サリエンシー・マップが計算される。<ref><pubmed>28044023</pubmed></ref>より許可のもと改変して作成。/ CC-BY 4.0)]]


[[Image:Masatoshiyoshida_fig_2.png|thumb|300px|'''図3．サリエンシー・マップ''']]
　特徴統合理論はあくまで心理学的な理論であったが、計算論的立場からどのようにボトムアップ性注意が計算されているかを説明するモデルとして「サリエンシー・マップ」が提唱された<ref name=ref1><pubmed> 3836989 </pubmed></ref>。


　特徴統合理論はあくまで心理学的な理論であったが、計算論的立場からどのようにボトムアップ性注意が計算されているかを説明するモデルとして「[[サリエンシー・マップ]]」が提唱された<ref name=ref1><pubmed> 3836989 </pubmed></ref>。
　サリエンシー・マップとは、特徴に依存しない視覚刺激のサリエンシーをスカラー量として計算して、二次元マップとして表現したもののことを指す。
 
　サリエンシー・マップとは、特徴に依存しない視覚刺激のサリエンシーを[[wj:スカラー量|スカラー量]]として計算して、二次元マップとして表現したもののことを指す。


　サリエンシー・マップの機能的な特徴としては以下の二つがあげられる。
　サリエンシー・マップの機能的な特徴としては以下の二つがあげられる。


* 並行処理：特徴統合理論からの影響を受けているため、サリエンシーはまず各特徴ごとに計算されて、特徴マップを作る。
* 平行処理：特徴統合理論からの影響を受けているため、サリエンシーはまず各特徴ごとに計算されて、特徴マップを作る。
* [[Winner-take-allルール]]：これら複数の特徴マップが足しあわされて計算されたサリエンシー・マップの中からいちばんサリエンシーの高い部分が選択される。
* Winner-take-allルール：これら複数の特徴マップが足しあわされて計算されたサリエンシー・マップの中からいちばんサリエンシーの高い部分が選択される。


　Koch and Ulman<ref name=ref1></ref>においてはあくまで計算の原理のモデルであったのだが、それを実際の画像から計算できるようなモデルとして実現したのがItti, Koch and Neiburによるサリエンシー計算論モデルだった（図2）<ref name=ref2>'''L. Itti, C. Koch, & E. Niebur'''<br>A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.<br>''IEEE Transactions on Pattern Analysis and Machine Intelligence'': 1998,  20(11):1254-1259.</ref>。
　Koch and Ulman 1985<ref name=ref1></ref>においてはあくまで計算の原理のモデルであったのだが、それを実際の画像から計算できるようなモデルとして実現したのがItti, Koch and Neiburによるサリエンシー計算論モデルだった<ref name=ref2>'''L. Itti, C. Koch, & E. Niebur'''<br>A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.<br>''IEEE Transactions on Pattern Analysis and Machine Intelligence'': 1998,  20(11):1254-1259.</ref>。


　このモデルのアルゴリズムレベルでの特色としては、
　このモデルのアルゴリズムレベルでの特色としては、


* 各特徴ごとのサリエンシーを計算するため、[[center-surround抑制]]を用いる。
* 各特徴ごとのサリエンシーを計算するため、center-surround抑制を用いる。
* さまざまな解像度(pyramids)でこの作業を並行して行う(画像処理の分野でのmulti-scale representationに対応) 。
* さまざまな解像度(pyramids)でこの作業を平行して行う(画像処理の分野でのmulti-scale representationに対応) 。
* 以上の操作を繰り返して正規化する(iterative normalization)。
* 以上の操作を繰り返して正規化する(iterative normalization)。


がある 。
がある 。


　この計算論モデルは[[wj:C++|C++]]ソフトウェアとして、[http://ilab.usc.edu/toolkit/ 南カリフォルニア大学Ittiラボ]より、ソースが[[wj:GNU General Public License|GNU General Public License]]に基づいて入手できるようになっている。
[[Image:Masatoshiyoshida_fig_2.png|thumb|300px|'''図2．サリエンシー・マップ''']]


　このソフトウェアを使って図1の画像のサリエンシーを計算したのが図3となる。
　この計算論モデルはC++ソフトウェアとして、[http://ilab.usc.edu/toolkit/ 南カリフォルニア大学Ittiラボ]より、ソースが[[wikipedia:ja:GNU General Public License|GNU General Public License]]に基づいて入手できるようになっている。


　ほかにも[[wj:Matlab|Matlab]]でのサリエンシー・マップを計算するプログラムとして以下のものがwebから入手可能である。
　このソフトウェアを使って図1の画像のサリエンシーを計算したのが図2となる。
 
　ほかにもMatlabでのサリエンシー・マップを計算するプログラムとして以下のものがwebから入手可能である。


* [http://www.saliencytoolbox.net/ SaliencyToolbox]
* [http://www.saliencytoolbox.net/ SaliencyToolbox]
* [http://www.vision.caltech.edu/~harel/share/gbvs.php Graph-Based Visual SaliencyおよびItti, Koch, Nieburのサリエンシー・マップ]
* [http://www.klab.caltech.edu/~harel/share/gbvs.php Graph-Based Visual SaliencyおよびItti, Koch, Nieburのサリエンシー・マップ]
* [http://www.cse.oulu.fi/CMV/Downloads/saliency Matlab codes for measuring image saliency]
* [http://www.cse.oulu.fi/CMV/Downloads/saliency Matlab codes for measuring image saliency]


73行目: 62行目:
　サリエンシー・マップはあくまで計算論的概念であるので、脳にサリエンシー・マップが表現されている保証はない。オリジナルの定義からすればサリエンシー・マップは単一のものであるはずだが、複数の処理レベルのサリエンシー・マップが脳内で分散して表現されていると主張しているものもある (たとえば<ref><pubmed> 15581921 </pubmed></ref>)。
　サリエンシー・マップはあくまで計算論的概念であるので、脳にサリエンシー・マップが表現されている保証はない。オリジナルの定義からすればサリエンシー・マップは単一のものであるはずだが、複数の処理レベルのサリエンシー・マップが脳内で分散して表現されていると主張しているものもある (たとえば<ref><pubmed> 15581921 </pubmed></ref>)。


　サリエンシーが表象されている部分としてこれまでに、[[一次視覚野]] (primary visual cortex: [[V1]])<ref name=ref3><pubmed> 11849610 </pubmed></ref>、上丘<ref name=ref4><pubmed> 19757885 </pubmed></ref>、視床枕<ref name=ref5><pubmed> 1374970 </pubmed></ref>、[[Lateral intraparietal area]] ([[LIP]])<ref name=ref6><pubmed> 9461214 </pubmed></ref>、[[frontal eye field]] ([[FEF]])<ref name=ref7><pubmed> 15581711 </pubmed></ref>、[[第4次視覚野]] ([[V4]])<ref name=ref8><pubmed> 12628175 </pubmed></ref>などがその候補として挙げられている。
　サリエンシーが表象されている部分としてこれまでに、V1<ref name=ref3><pubmed> 11849610 </pubmed></ref>、上丘<ref name=ref4><pubmed> 19757885 </pubmed></ref>、視床枕<ref name=ref5><pubmed> 1374970 </pubmed></ref>、LIP<ref name=ref6><pubmed> 9461214 </pubmed></ref>、FEF<ref name=ref7><pubmed> 15581711 </pubmed></ref>、V4<ref name=ref8><pubmed> 12628175 </pubmed></ref>などがその候補として挙げられている。


== サリエンシー・マップの応用  ==
== サリエンシー・マップの応用  ==


　画像や映像を見ているときの[[視覚探索]]をサリエンシー・マップによって予測するという一連の研究がある。そのなかではたとえば視覚探索時の[[眼球運動]]のデータから[[注意欠陥・多動性障害]] ([[Attention Deficit Hyperactivity Disorder]], [[ADHD]])患者や[[パーキンソン病]]患者を分類することに成功したもの<ref name=ref9><pubmed> 22926163 </pubmed></ref>や[[wikipedia:ja:マカクザル|マカクザル]]の視覚探索時の眼球運動のデータから第一次視覚野損傷の影響を解明したもの<ref name=ref10><pubmed> 22748317 </pubmed></ref>などがある。
　画像や映像を見ているときの[[視覚探索]]をサリエンシー・マップによって予測するという一連の研究がある。そのなかではたとえば視覚探索時の[[眼球運動]]のデータから[[ADHD]]患者や[[パーキンソン病]]患者を分類することに成功したもの<ref name=ref9><pubmed> 22926163 </pubmed></ref>や[[wikipedia:ja:マカクザル|マカクザル]]の視覚探索時の眼球運動のデータから第一次視覚野損傷の影響を解明したもの<ref name=ref10><pubmed> 22748317 </pubmed></ref>などがある。


== 関連項目 ==
== 関連項目 ==
84行目: 73行目:
== 参考文献 ==
== 参考文献 ==


<references />
<references />  
 
 
(執筆者：吉田正俊　担当編集委員：伊佐正)
「https://bsd.neuroinf.jp/wiki/サリエンシー」から取得