ニューラルネットワーク

ニューラルネットワーク

トップページ→研究分野と周辺→

基本的構造

ニューラルネットワーク（Nueral Network：人工神経回路）は、生物の神経細胞ネットワークの挙動を模倣する工学モデル。図の円（ノード）は或る細胞、矢印は刺激の伝播を表す。或る細胞（A）は複数の細胞（X1～Xn）から刺激を受ける。ここでX1～Xnは細胞の名であると同時に其々の細胞が出力する刺激の程度も示す。Aと他の各細胞には結合の強さ（両方の細胞の親密度に該当。或る細胞の出力刺激の、別の或る細胞への伝わり易さ）を示すW1～Wnの結合係数が在る。Aに入力される刺激の総量はW1×X1＋W2×X2＋・・・Wn×Xnという総和になる。Wは負数の場合もあり、負数のWで結合している細胞が興奮（出力）すると、逆にAへの入力は減る事になる。
Aに入力された刺激の総量から或る値（θ）を引いたものが、Aの内部状態In(A)となり、これを或る関数（出力関数）に通した値をAの出力値Out(A)とする。

シグモイド関数

或る細胞の内部状態を出力値に変換する関数として、シグモイド関数がよく使われる。入力値の絶対値がいくら大きくても出力値は0～1の範囲に収まり、細胞に近い反応をする関数と言える。入力値が負ならば0.5以下、正ならば0.5以上の出力値となる。

論理積（AND）と論理和（OR）の出力

論理積、論理和を出力するニューラルネットワークを作る事が出来る。論理積はどちらかが0であれば0、両方1のときだけ1となり、論理和はどちらかが1であれば1、両方0のときだけ0となるから、X1とX2が其々0か1のいずれかを取るとき、その全ての組合せ（0,0、1,0、0,1、1,1）について、Yが論理積、論理和に従った0か1を出力するようにW1とW2を決めればよい。
W1×X1＋W2×X2－θ＝0は下図の赤線、青線のような直線を表す。W1とW2により傾きが決まり、θによりX1軸、X2軸を横切る位置が決まる。論理積は点（1,1）だけが仲間はずれに、論理和は点（0,0）だけが仲間はずれになるように線を引けばよい。W1×X1＋W2×X2－θはニューロンYの内部状態なので、この値が負ならば0、正ならば1を出力するように出力関数を設定する（シグモイド関数ではない）。例えば、W1＝W2＝0.5としてθ＝0.6なら論理積、θ＝0.4なら論理和となる線が引ける。勿論、図の破線のように傾きや切片の位置が異なっても、これらを分離出来る値なら良い。

排他的論理和（XOR）の出力

排他的論理和は、入力が（0,0）または（1,1）のとき0、(0,1）または（1,0）のとき1となる（同じなら0、異なれば1）。このグループを一本の線で分けるのは不可能となる。この場合はニューラルネットワークに、図のh1、h2の中間層を入れる。
h1は青線のような出力（論理和に該当）をし、h2は赤線のような出力（論理積に該当）をするように設定すると、h1とh2の出力の組は（0,0、1,0、1,1）の三種類に絞られる（表参照）。Yの出力は右のグラフのように（1,0）を仲間はずれにしてそちら側で1を、反対側で0となるように設定すれば、元の入力X1、X2の排他的論理和の出力が可能となる。

相互結合型と階層型ネットワーク

上記のようなニューラルネットワークは階層型と言われ、入力層の細胞が何らかの情報を受け取り、結合係数と出力関数を介して、中間層、出力層へと一方向的に情報を伝えていく。これに対し、全ての細胞が互いに結合係数を持つネットワークを相互結合型という。
しかし、階層型ネットワークは、相互結合型の一部の結合係数がゼロになったものでもあり、相互結合型の特別なケースと看做す事も出来る。

多彩なニューラルネットワーク

ニューラルネットワークは既に様々な種類が研究開発され、実に多彩となっている。
誤差逆伝播法等の学習により、パターン識別器にも成り得る。
また、ホップフィールドネットワークやボルツマンマシン等は、最適化ツールにも成り得る。
連想記憶モデル（カオスも含む）等は、記憶の蓄積・想起が可能な一種のデータベースにも成り得る。
純粋に、脳等の神経回路のシミュレータにもなり、ファジイや進化型計算等の他の技術との組み合わせも様々に試みられている。

誤差逆伝播法（バック・プロパゲーション）

サポートベクターマシン（SVM）

自己組織化特徴マップ（SOM）

連想記憶モデル（アソシアトロン）

ホップフィールド・ネットワーク

ボルツマンマシン

カオスニューラルネットワーク