kohonen模型

原文地址：http://www.360doc.com/content/12/0617/23/10225823_218794198.shtml

在对人类的神经系统及脑的研究中，人们发现：人脑的某些区域对某种信息或感觉敏感，如人脑的某一部分进行机械记忆特别有效；而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识。

对大脑的研究说明，大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统；在这个系统含有各种反馈作用，有整体反馈，局部反馈；另外，还有化学交互作用。在大脑处理信息的过程中，聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号，并产生自组织过程。

依据大脑对信号处理的特点，在1981年，T．Kohonen提出了一种神经网络模型，也就是自组织特征映射模型SOM(Seh—Organizing fenture Map)。

Kohonen认为人的大脑有如下特点：

1．大脑的神经元虽然在结构上相同，但是它们的排序不同。排序不是指神经元位置的移动，而是指神经元的有关参数在神经网络受外部输入刺激而识别事物的过程中产生变动。

2．大脑中神经元参数在变动之后形成特定的参数组织；具有这种特定参数组织的神经网络对外界的特定事物特别敏感。

3．根据生物学和神经生理学，大脑皮层分成多种不同的局部区域，各个区域分别管理某种专门的功能，比如听觉、视觉、思维等。

4．大脑中神经元的排序受遗传决定，但会在外界信息的刺激下，不断接受传感信号，不断执行聚类过程，形成经验信息，对大脑皮层的功能产生自组织作用，形成新功能。

Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。对于一个系统来说，就是要解决一个系统在受外界信息作用时在内部自组织地形成对应表示形式。这包括神经网络的权系数调整。

神经网络的自调整过程和大脑的自组织过程是相仿的。由于神经网络是由可以自调整的神经元组成；所以，可以自组织成对外界信息中某一种特征敏感的形式。

1．5．1 神经元的侧向交互原理

目前对人脑的研究说明：大脑皮层中，神经元是呈2维空间排列的；它的输人信号很明显来自两个部分。这种输人情况如图1—27所示。在图中可以看出：有外部区域的输入和同一区域的反馈输入。

图1—27 大脑神经网络2维结构示图

神经元之间的信息交互方式有很多种，不过研究表明：相邻近的神经元之间的局部交互的方式是侧向交互。这种侧向交互方式遵从下列有关规则：

1．以发出信号的神经元为圆心，对近邻的神经元的交互作用表现为兴奋性侧反馈；

2．以发出信号的神经元为圆心，对远邻的神经元的交互作用表现为抑制性侧反馈。

图1-28 侧交互模式

这种规则说明近邻者相互激励，远邻者相互抑制。一般而言，近邻是指从发出信号的神经元为圆心．半径约为50—500μm左右的神经元；远邻是指半径为200μm—2mm左右的神经元。比远邻更远的神经元则表现的是弱激励作用。这样，这种局部交互方式如图1—28所示。由于这种交互作用的曲线类似于墨西哥人带的帽子，所以也称这种交互方式为“墨西哥帽”。

神经网络中，邻近的各个神经元之间通过相互的侧向交互作用，从而产生相竞争的过程，自适应地形成了针对特殊信息的组织结构。很明显，这种结构可以成为检测特殊信息的特殊检测器。这样，神经网格的自组织过程和行为，可以成为一种检测各种不同信息模式的检测相识别器。这也是自组织持征映射的意义所在。

1．5．2二维阵列SOM模型

自组织特征映射SOM模型可以用二维阵列表示。这种结构如图1-29所示。

图1-29 二维阵列SOM模型

二维阵列神经网络由输入层和竞争层组成。输入层是一维的神经元。竞争层是二维的神经元。输入层的神经元和二维阵列竞争层的神经元每个都相互连接。二维阵列竞争层也称输出层。

在二维阵列竞争层中，可以清楚看出：每一个输出神经元都和最近相邻的8个神经元相连；当然，最边沿的神经元和3—5个神经元相连，但这只是最边沿的神经元才会这样。而从二维阵列内部一般有：每个输出神经元和8个最相邻的神经元相连。在SOM模型中，对于神经元j，它的外部输入信号可以用I_j表示：

(1-86)

其中：x_i是外部输入信号；

W_ij是输入神经元i到输出神经元j之间的权系数。

对神经元j来说，它的输出Y_j的活动可以用如下微分方程表示：

(1-87)

其中：S_j是和神经元j相联系的神经元子集；

r_k是系数，它和权系数和横向连接结构有关；

g(Y_j)是非线性损失，如神经元饱和，分流和泄漏效应等。

神经元的输入情况可以用因1—30来表示。

图1-30 神经元的输入情况

神经元的输出Y_j的初始分布可能是随机的；但随着时间的变化，由于输出层神经元有侧向交互的作用，Y_i的分布就会因对环境的组织而形成“气泡”状，这种状态如图1—28所示。

在神经网络中，随外部环境的输入，神经元的权系数是自适应变化的；这一过程就是神经网络自学习的过程。神经元自适应过程是和其输出值，外部输入，权系数都有关系，一般用如下方程表示：

(1-88)

其中：w_j是权系数向量，W_j＝(W_1j，W_2j，…W_nj)^T；

X是输入向量，X＝(X₁，X₂，…，X_n)^T；

α,β是正的标量常数。

神经元在自适应过程中所形成的“气泡”，在本质上是产生和输入模式对于表示形态。

而这种“气泡”是以特定的神经元c为中心的，并且是以一定半径所包围的神经元子集Nc，如果令

Y_j∈(0,1)

β∈(0,α)

并且有

这在实质上要求神经元在所给定的半径范围之内的Nc子集中时，则其输出为1；而在子集N_c之外时，则其输出为0。同时，系数β在神经元处于N_c之内时，取值为α；否则取值为0。

很明显，这时的神经元自适应过程表示如下：

(1-89)

考虑j∈N_c和j/∈N_c两种情况，则自组织过程可用两个不同条件的式子表示，并且有

(1-90)

上式说明：在自组织过程中，SOM模型神经元所处的位置对学习结果有影响。当和中心神经元C的距离较近，在给定半径之内时，权系数以输入模式和现行权系数Wj之差的一定水平进行修改；和神经元C的距离较远，则权系数不变。

1．5．3 SOM模型的学习算法

在神经网络的SOM模型中，每一个权系数的有序序列 Wj=(W1j，W2j，...Wnj)都可以看作是神经网络的一种内部表示，它是有序的输入序列X=(X1，X2，...，Xn)的相对应映象。

SOM模型可以实现自组织功能。自组织的目的就是通过调整权系数Wij，使神经网络收敛于一种表示形态，在这一表示形态中的一个神经元只对某种输入模式特别匹配或特别

敏感。换而言之．自组织映射的目的就是使神经元的权系数的形态表示可以间接模仿输入的信号模式。
自组织特征映射SOM的学习算法是由两部分组成的，这两部分如下

1．最优匹配神经元的选择；

2．网络中权系数的自组织过程。

这两部分是相互相成的，它们共同作用才能完成自组织特征映射的学习过程。选择最优匹配神经元实质是选择输入模式对应的中心神经元C。权系数的自组织过程则是以“墨西哥帽”的形态来使输入模式得以存放。

每执行一次学习，则SOM网络中就会对外部输入模式执行一次自组织适应过程；其结果是强化现行模式的映射形态，弱化以往模式的映射形态。下面分别对自组织特征映射SOM的学习算法两个部分进行介绍。

一、最优匹配神经元的选择

设有输入模式x

x＝(x₁，x₂，…，x_n)^T

对于自组织特征映射SOM网络的输出层神经元j，则有权系数向量W_j

W_j=(W_1j,W_2j,...W_nj)^T j=1,2,...,n

权系数向量是对输入模式的映射，也即是说，权系数向量某一形态对应于某一输入模式。输入模式x和权系数W_j的匹配程度是用两者的内积表示的，即用X^TW_j表示。内积最大处正是“气泡”中心。内积x^Tw_j最大时，则必定有x和W_j之间的向量差的范数‖x—W_j‖最小，这个最小矩离就确定了最优匹配的神经元C；从而有“气泡”中心C，满足：

(1-91)

其中：Wc是神经元c的权系数向量。

这个式子也就是匹配规则。

上面式子说明：气泡中心就是神经元C，它的权系数向量Wc同输入模式x有最优匹配。

注意‖x—W_j‖是欧几里德距离。它由下面式子求出：

(1-92)

根据匹配规则求出的Wc是神经元C的权系数向量，它是以C为中心的气泡的一种表示形态；Wc的表示形态就是和输人模式x的最优匹配。一般称wc是x的最优匹配。在求出Wc之后，也即是求出了气泡中心C。接着，就可以考虑对神经元C为中心的邻域Nc有关神经元的权系数的自组织过程。因为，Wc虽然是求出的对输入模式x的最优匹配；但wc仍然不是充分表示X；为了使见能够在改进之后，其形态能充分表示x；故还应对权系数向量Wc进行自组织学习，才能真正形成对应x的气泡。

二、网络权系数的自组织

在SOM网络中，每一个输出神经元都接收相同的输入模式X。对于输出神经元j来说，其最简单的输出是线性的；并且，可以用下式表示：

(1-93)

在权系数进行自组织学习时，权系数的调整方程如下：

(1-94)

其中：Y(t)是随时间t变化的递减增益函数；

Yj(t)是输出神经元i的输出；

Xi(t)是输入神经元i的输人；

Wij(t)是输入神经元i和输出神经元j在时间t时的权系数；

r是常系数。

对于气泡中心神经元c，以其为中心考虑一个邻近的区域Nc。Nc是以神经元C为中心的某一半径范围内全部神经元的集合。

在Nc区域之内，所有神经元的输出为1；在Nc区域之外，所有神经元的输出为0。即有

如果令常系数r为1，即

r=1

则权系数的调整方程成为

(1-95)

图1-31 邻近区域Nc随时向的变化

区域Nc的范围宽度是时变的，在开始时可以选择范围宽一些，通常不妨为网络宽度的一半以上；随着时间的推移，Nc向以C为中心的小范围单调变小，最后甚至可以终结在神经元C处，即Nc＝{C}。

邻近区域Nc随时间而变化的示意图如图1—31中所示。从图中可以看出Nc(tk-1)时的范围比Nc(tk-2)时要小；也就是说，随时间的推移所考虑的邻近区域变小。当到达时间tk时，邻近区域Nk则处在神经元c处，也即处于气泡中心位置。

上面式(1—95)的权系数调整方程可以写为下面形式

在离散系统中，如果以△t为采样周期T，则有△t＝1T。所以，权系灵敏调整方程写成

考虑离散系统中的权系数调整为差分方程：

即是：

(1-96)

这就是权系数自组织的离散数字表达式。

对于增益函数η(t)而言，它是一个随时间变化的递减函数。一般要求

实际上有

0<η(t+k)<1 k=1,2,...,∞

在实际的权系数自组织过程中，对于连续系统，取：

或者

对于离散系统，则取

或者

从上面可以看出：无论是连续系统还是离散系统，随时间的增加或采样周期的推移，增益函数7的值会越来越小。通常取500≤t≤10000或500≤t+k≤10000时，结束自组织过程。

1．5．4 SOM模型学习的具体步骤

在计算机中可以采取一定的恰当步骤对自组织特征映射模型SOM进行学习。这些步骤介绍如下：

一、权系数初始化

对于有n个输入神经元，P个输出神经元的SOM网络，对连接输入神经元和输出神经元之间的权系数设定为小的随机数a，一般有：

0<a<1

同时，设定邻近区域的初始半径。

二、给出一个新的输入模式X_k

Xk={X_1k,X_2k,...X_nk}

k=1,2,...

三、求模式X_k和所有的出神经元的距离

对于输出神经元j，它和特定的输入模式X_k之间的距离用d_jk表示，并且有

(1-97)j=1,2,...,p

四、选择最优匹配的输出神经元C

和输入模式X_k的距离最小的神经元就是最优匹配的输出神经元c。

用W_c表示神经元C对输入神经元的权系数向量，则应有

(1-98)

五、修正权系数

根据设定的邻近区域，或递减变小后的区域，对区域Nc中的神经元进行权系数修正。

修正按下式执行

W_ij(t+1)=W_ij(t)+η(t)[X_i(t)-W_ij(t)] (1-99)

对于区域Nc外的神经元，其权系数不变，即有

W_ij(t+1)=W_ij(t) (1-100)

其中，η(t)是递减的增益函数，并且有0<η(t)<1。
通常取：

(1-101)或(1-102)

六、对于不同的t＝1，2，…，z(500≤z≤10000)，雷新返回第2步去执行。

在自组织特征映射模型的学习中，当N_c不止包含一个神经元时，这种竞争学习实际上是泄漏竞争学习。
在学习中，增益函数η(t)也即是学习率。由于学习率η(t)随时间的增加而渐渐趋向零．因此，保证了学习过程必然是收敛的。

自组织特征映射网络的学习是一种无教师的学习，输人信号模式是环境自行给出的，而不是人为给出的。当然，这种学习也可以是有教师的，这时则是人为给出教师信号作为输入肋M模型在检索时是按下面方式对输入模式进行分类的：

首先对输入层输入模式x，再找出在输出层中和它有员优匹配的神经元C。则表示输入模式x属于神经元c所对应的类别。

SOM网络学习的不足有如下二点：

第一，当输入模式较少时，分类结果依赖于模式输入的先后次序。

第二，和ART网络不一样，SOM网络在没有经过完整的重新学习之前，不能加入新的类别。

Kohonen已经证明：在学习结束时．每个权系数向量w_j都近似落入到由神经元j所对应的类别的输入模式空间的中心，可以认为权系数向量w_j形成了这个输入模式空间的概率结构。所以，权系数向量W_j可作为这个输入模式的最优参考向量。

自组织特征映射网络由于有上述作用，所以很适宜用于数据的量化；故也称作学习向量量化器。