初识神经网络(2)

神经网络是由具有互相连接的突触节点和激活连接构成的有向图，具有4个主要特征：

1. 每个神经元可表示为一组线性的突触连接，一个外部应用偏置，以及可能的非线性激活连接。偏置由一个固定为+1的输入连接的突触连接表示。
2. 神经元的突触连接给它们相应的输入信号加权。
3. 输入信号的加权和构成该神经元的诱导局部域。
4. 激活连接压制神经元的诱导局部域产生输出。

可参照下图：

当系统中一个元素的输出能够部分地影响作用于该元素的输入，从而造成一个或多个围绕该系统进行信号的传输的封闭路径时，我们说动态系统中存在着反馈(feedback)。实际上，反馈存在于所有动物神经系统的几乎每一部分中。并且，在一类特殊的神经网络——递归网络的研究中扮演着重要的角色。下图表示单环反馈系统的信号流图，输入信号为、内部信号和输出信号是离散时间变量n的函数。

这个系统被假定为线性的，由“算子”A表示的前向通道和“算子”B表示的反馈通道组成。特别地，前向通道的输出通过反馈通道来部分地影响自己的输出。上图的输入输出关系如下：

其中方括号是为了强调A和B是扮演着算子的角色。将上面两式合并，消去，得到：

我们把A/(1-AB)称为系统的闭环算子，AB称为开环算子。通常开环算子没有交换性，即AB不等于BA。

知识就是人或机器储存起来以备使用的信息或模型，用来对外部世界作出解释、预测和适当的反应。知识表示有两个方面：(1)什么信息是明确表述的；(2)物理上信息是如何被编码和使用的。按知识表示的本性，它是目标导向的。

神经网络的一个主要任务是学习它所依存的外部世界(环境)模型，并且保持该模型和真实世界足够兼容，使之能够实现感兴趣应用的特定目标。有关世界的知识由两类信息组成。

1. 已知世界的状态，由“什么是”事实和“什么是已知道的”事实所表示；这种形式的知识称为先验信息(priori information)。
2. 对世界的观察(测量)，由神经网络中被设计用于探测环境的传感器获得。一般说来，这些观察是带有固定噪声的，这是由于传感器的噪声和系统的不完善而产生的误差。不管怎么样，这样得到的观察会提供一个信息池，从中提取样例来训练神经网络。

一组由输入信号和相应的期望响应所组成的输入输出对称为训练数据集(set of training data)或简单称为训练样本(training sample)。

知识表示的规则

1. 相似类别中的相似输入通常应产生网络中的相似的表示，因此可以归入同一类中。
2. 网络对可分离为不同种类的输入向量给出差别很大的表示。
3. 如果某个特征很重要，那么网络表示这个向量将涉及大量神经元。
4. 如果存在先验信息和不变性，应该将其附加在网络设计中，这样就不必学习这些信息从而简化网络设计。

和我们自己能够通过多种不同的方法从周围环境中学习一样，神经网络也有多种不同的学习方法。广义上讲，我们可以通过神经网络的功能对其学习过程进行如下分类：有教师学习(也称监督学习)和无教师学习。按照同样的标准，后者又可以分为无监督学习和强化学习两个子类。