神经网络

神经网络

人工神经网络模仿的是生物的神经网络，消息可以在各个神经元之间进行传递处理。

M-P神经元结构

仿照生物的神经元信息传递的过程，构建简单的人工神经元，如图所示是M-P神经元模型。一个神经元与多个神经元进行连接，模仿的是生物中的突触结构；每条连接都带有权重，模仿的是生物神经元突触传递信号的功能；神经元收到来自其他神经元的信号之后，会判断是否是干扰信号，人工神经元通过阈值来进行判断；一旦判定该信号是有效信号，则神经元会被激活并向下一个神经元进行信息的传递，人工神经元通过激活函数来模仿该功能。

感知机

感知机由两层网络构成，输入层负责接收外部数据，然后传递给输出层，输出层是M-P神经元。它只有在输出层神经元进行激活函数处理。

多层神经网络

输入层与输出层之间含神经元层时称为多层神经元网络，并将中间的层称为隐层。输入层神经元只进行接收输入，不做函数处理，隐层与输出层含有神经元的全部功能。

多层前馈神经网络：每层神经元之间与下一层神经元全互连，神经元之间不存在同层连接，也不存在跨层连接。

反向传播算法（BP算法）

常见的神经网络

RBF网络

径向基函数网络，一种单隐层前馈神经网络，使用径向基函数作为隐层神经元的激活函数，输出层是对隐层神经元输出的线性组合。

径向基函数：沿径向对称的标量函数。

ART网络

自适应谐振理论网络，一种竞争型学习网络。竞争型学习是神经元网络中一种常用的无监督学习策略，在策略中网络的输出神经元互相竞争，每个时刻仅有获胜的神经元被激活，其余神经元被抑制。（WTA ：winner-take-all）

SOM网络

自组织映射网络，一种竞争学习型的无监督神经网络。将高维空间输入映射到低维空间，同时保持数据在高维空间中的拓扑结构，即高维空间中相似的样本点映射到网络输出层中的临近神经元。

级联相关网络

网络拓扑结构能自适应调整。在数据量小时容易过拟合。

Elman网络

一种递归神经网络，允许网络中出现环，从而让一些神经元的输出反馈回来做为输入信号。从而使得该类网络能够处理与时间有关的动态变化。

Boltzmann机

一种基于能量的模型。假定网络状态具有不同的能量，训练网络使其达到稳定就是使网络的能量函数最小化的过程。

深度学习

很深的神经网络模型就是一种典型的深度学习模型。简单的办法是增加隐层的数量，但会大量的增加参数，使得利用经典的bp算法进行训练过程中因为误差在多隐层内逆向传播过程中会发生发散而不能收敛至稳定的状态。因此需要更有效的训练办法。

<1> 无监督逐层训练

基本思想是每次训练一层隐结点，训练时将上一层隐结点的输出作为输入，而本层的输出作为下一层的输入，这样逐层训练；完成全部的逐层训练之后再对整个网络进行微调。D深度信念网络(DBN)就可以通过这种方法进行训练。

<2>权值共享

让一组神经元具有相同的连接权值。典型的网络是卷积神经网络(CNN)，可以使用BP算法训练。