パーセプトロン

英：perceptron

米国の心理学者フランク・ローゼンブラット（Frank Rosenblatt）は1958年前後に、脳における感覚情報の処理メカニズム、すなわち、学習的なパターン認識メカニズムの神経回路網モデルを提案し、パーセプトロン（perceptron）と名づけた。パーセプトロンは、単純な情報処理をする多入力１出力の神経細胞（ニューロン）のモデルを相互に結合した構造をもち、ニューロン間の信号の伝わりやすさを変化させることによって学習を行う。ローゼンブラットは様々な構造のパーセプトロンを提案し、その性質を数理的・統計的に解析したが、そうした中でも、感覚入力にあたる感覚(sensory)層、入力信号を分析する連合(association)層、認識結果を出力する出力(response)層の3つの層から成り、入力から出力に向かう前向き結合のみをもつネットワークや、その層を増やしたネットワークが、その後の時代にもっとも盛んに研究された。特に、マービン・ミンスキーとセイモア・パパートによるパーセプトロンの情報処理能力に関する研究はよく知られている。このことから、現在では「パーセプトロン」という言葉は、階層型ニューラルネットワーク（layered neural networks）、多層ニューラルネットワーク（multi-layer neural networks）、前向き結合ニューラルネットワーク（feed-forward neural networks）という意味で使われることが多い。以下では、まず、ローゼンブラットの1958年の論文に従って、普段あまり紹介されていないパーセプトロンの初期の研究を紹介する。次に、ミンスキーとパパートの著書に従って、その後の研究を紹介する。さらに、デヴィット・ラメルハートらによる多層ニューラルネットワークの学習法に関する研究を紹介し、最後に、層が多いニューラルネットワークの学習（deep learning）に関する研究を紹介する。

パーセプトロンとは

パーセプトロンとは、脳における情報の保持と組織化に関する仮説的モデルであり、脳において、情報はどのような形で保持され、想起されるのか、そして、そうした情報はどのように認識や行動に影響を与えるのか、という問題に答えるために、ローゼンブラットによって提案された。パーセプトロンは、ヘッブ（Hebb）、ハイエク（Hyek）、アタリ―（Uttely）、アシュビー（Ashby）らの研究に依拠した、脳の構造と情報処理様式に関する以下のような仮定に基づいている：

1. 神経細胞間の結合は、生まれたときには最低限の遺伝的制約に従うが、基本的にはランダムであり、個体ごとの経験に基づいて異なった値をとる。
2. 神経細胞間の結合には可塑性がある。すなわち、結合元の細胞の活動が結合先の細胞の活動を引き起こす確率が、細胞の活動によって長期的に変化する。
3. 結合の変化の結果として、類似の刺激は同じ細胞集団の応答を引き起こし、異なる刺激は異なる細胞集団の応答を引き起こすようになる。
4. すなわち、刺激の類似性は神経システムの応答の類似性によって定義される。
5. 正あるいは負の報酬は結合の形成や変化を促進する。

単純パーセプトロン

パーセプトロンは、複数の神経細胞集団とその間を結ぶ神経結合から成る。最も単純な構造を持つ単純パーセプトロン（simple percepton）を図に示す。入力刺激は感覚(sensory)層の細胞によって捉えられる。以下の解析では、この層の細胞は、応答の有無、すなわち1/0 の2値の出力を出すと仮定する。感覚層の出力は連合(association)層の細胞に送られる。感覚層と連合層の間の結合の強さはランダムな値に固定されていると仮定する。連合層の細胞の出力は出力層の細胞に送られる。連合層と出力層の細胞の間の結合は双方向的である。連合層と出力層の間の結合はいくつかのパターンが考えられているが、以下では、出力層の細胞は、自分に入力を送っていない連合層の細胞に対して抑制性の結合を送っているとするモデルを取り上げる。これによって、出力層の細胞の活動は相互抑制的になる。