第五章 神经网络

5.1 神经元模型

神经网络是由具有适应性的简单单元组成的广泛并行互连的网络，它的组织能够模拟生物神经系统对真实世界物体所做出的交互反应。
神经网络中最基本的成分是神经元模型。

5.2感知机与多层网络

感知机由两层神经元组成。
多层前馈神经网络：每层神经元与下一层神经元全相连，神经元之间不存在同层连接或者跨层连接。

5.3误差逆传播算法

5.4全局最小与局部最小

跳出局部极小的方案：
（1）以多组不同参数值初始化多个神经网络，按标准方法训练后，取其中误差最小的解作为最终参数。
（2）使用“模拟退火”技术。在每一步都以一定的概率接受比当前解更差的结果。
（3）使用随机梯度下降，在计算梯度时加入随机因素。
（4）遗传算法。

5.5常见神经网络

（1）RBF-NN 径向基函数，是一种单隐层前馈神经网络，使用径向基函数作为隐层神经元激活函数，而输出层是对隐层神经元输出的线性组合。
（2）ART-NN 自适应谐振理论，计算输入向量与每个识别层神经元所对应的模式类的代表向量之间的距离，距离最小者获胜。
若输入向量与获胜神经元所对应的代表向量之间的相似度大于识别阈值，则当前输入样本被归为该代表向量所属类别。
若相似度不大于识别阈值，则重置模块将在识别层增设一个新的神经元，其代表向量就设为当前输入向量。
Note： 识别阈值对ART网络的性能有重要影响。当识别阈值较高时，输入样本将会被分成比较多、比较精细的模式类。而如果识别阈值较低，则会产生比较少、比较粗略的模式类。
（3）SOM-NN 自组织映射，能将高维输入数据映射到低维空间，同时保持输入数据在高维空间的拓扑结构。
（4）级联相关网络。结构自适应网络将网络结构也当作学习的目标之一，并希望在训练过程中中找到最符合数据特点的网络结构。级联相关网络是结构自适应网络的重要代表。
级联相关网络无需设置网络参数，隐层神经元数目，且训练速度快，但其在数据较小时易陷入过拟合。
（5）Elman网络。递归神经网络允许网络中出现环形结构，从而可以让一些神经元的输出反馈回来作为输入信号。可以处理与时间相关的动态变化。
（6）Boltzmann机。为网络状态定义一个能量，能量最小化时网络达到理想状态，而网络的训练就是最小化这个能量函数。
标准的波尔兹曼机是一个全连接图，受限的波尔兹曼机是一个二部图。

5.6深度学习

无监督逐层训练：每次训练一层隐节点，训练时将上一层隐节点的输出作为输入，而本层隐节点的输出作为下一层隐节点的输入。预训练+微调
权共享：让一组神经元使用相同的连接权。