神经网络基础

介绍神经网络之前，先简单介绍一下神经网络的最基本单元：神经元。如下图所示：

神经元是信息处理的单元，而神经元之间的联接则负责传递信息。每个联接都有相应的权重，在典型的神经网络中，往往是将权重与信号相乘。这些输入信号的加权和作为神经元的输入信号，神经元应用激活函数对输入进行处理，并且产生输出，传递给下一个神经元。
计算过程如下图所示：

其中：
x1,x2,...xm：传递的信号
Wk1,Wk2,...Wkm：联接的权重
S：来自所有联接的加权和
Vk：在加权和的基础上加上一个偏置常数bias
j(x)：激活函数
yk：输出

接下来我们更详细的介绍一下神经网络中的联接模式
在神经元的联接中我们一般用”+”表示传送来的信号起刺激作用，能够增加神经元的活跃度；用”-“表示传送来的信号起抑制作用，用于降低神经元的活跃度。
对于神经网络层次的划分，我们将其分成三种不同的互联模式
1. 层内联接：用来加强和完成层内神经元之间的竞争
2. 循环联接：反馈信号
3. 层间联接：用来实现层间的信号传递