关于神经网络的学习

最近接触深度学习,得知神经网络是深度学习的重要算法工具,然后便系统的学习实现了一番,以下便是总结的学习过程

1 概念及来源

1.1 相关概念

人工神经网络 : 通常简称神经网络,是一种在生物神经网络的启发下建立的数据处理模型。神经网络由大量的人工神经元相互连接进行计算，根据外界信息改变自身结构，主要通过调整神经元之间的权值来对输入数据进行建模，最终解决实际问题。神经网络可以看作有向图，在图中节点连接是有方向的，图1-1为单层感知器神经网络

                                                                                                      图1-1

其中wi为权值 I 为输入，小原点为神经元，y为输入

1.2 神经网络的特点

1， 自学习和自适应性

自适应性是一个系统可以根据环境变化动态调节自身结构进行动态适应，也就是说神经网络可以根据输入新的样本数据自动调整参数，修改权值，改变影射关系

2， 非线性性

现实生活中，绝大的部分问题都不是线性问题，神经元处于抑制或激活状态实际上表现为非线性性

3，鲁棒性

局部地区的神经元损坏不会对整个神经网络造成灾难性损伤（除极为重要的神经元除外）

4，并行性

天然的神经元结构可以使其能够在神经元上进行并行计算，同一层神经元上并行计算结果之后汇合至下一层进行处理

1.3 神经网络的应用

1， 模式分类

将n维特征向量映射至某一标量，非线性的神经网络可以更好的解决分类问题

2 ， 聚类

首先说一下聚类和分类的区别：

聚类是没有分类标签，我们需要根据某些样本进行特征对比，将相似的归为一类；而分类是已有正确的分类标签，根据输入测试数据将其所属类别确定

神经网络可以很好的根据输入属性进行自动把样本点进行聚类分析

3， 优化计算

优化计算是在已知约束条件下，找到使目标函数最小化的参数组合

4，数据压缩

1.4 神经网络的分类

神经网络结构中最重要的就是节点和连接权值，根据网络结构的不同可分为向前网络和反馈网络，跟据学习方式不同可以分为有监督学习网络和无监督学习网络

1， 单层感知器

图1.1 所示即为单层感知器，其只包含一层节点是简单的神经网络模型-----属于前向网络 

2，线性网络

与单层感知器网络相似，只是神经元传输函数不同-----属于前向网络

3，多层感知器

有多层节点，同时每层不止有一个神经元，是单感知和线性网络的结合  -------属于前向网络

4，径向基函数网络

该每层节点的数据流向由函数决定，可以流向单个节点也可以流向多个节点如图 1-2  --前向网络

                                                                                             图 1-2

5，Hopfiled网络

Hopfile 神经网络模型是一种循环网络模型，从输出到输入有反馈连接。Hopfiled网络有离散型和连续型两种-----属于反馈网络

6， Elman神经网络

7， BP神经网络（最为重要的一种神经网络）

是一种按照误差逆传播的算法训练的多层前馈网络

8，竞争神经网络

将竞争机制引入神经网络

9， 随机神经网络

以随机方式进行工作，节点的兴奋或抑制以随机方式进行

读者不要着急，结下来将会对每种神经网络进行原理性介绍。

 

2  网络模型原理