深度学习笔记1 BP神经网络

1.BP神经网络的概念

        人工神经网络是模型生物神经网络进行信息处理的一种数学模型，BP神经网络是人工神经网络的一种经典算法

BP（反向传播）算法的特征利用输出后的误差来估计输出层的直接前导误差，再用这个误差去估计更前一层的

误差，如此一层一层的反向传播下去，就获得了所有其他各层的误差估计，

        所以BP神经网络分两步：1.信号的正向传播和误差的逆向传播。正向传播时输入时输入信号进过隐层的处理后

传向输出层，若输出层节点未能得到期望的输出，则转入误差的逆向传播阶段，将输出误差按某种子形式通过

隐层向输出层返回，并分摊个隐层的各个节点从而获得各个单元的参考误差，做为修改各单元权值的依据。

2.常用的激活函数

3.BP神经网路的结构

下图是一种4层神经网络主要包括：输入层、隐藏层1、隐藏层2、输出层

上图神经网络的执行过程可以描述如下过程

通过上述过程我们怎么求的参数为W和b呢？

4.BP神经网路的参数求解

只有一个隐层的神经网络的偏导结果如下所示(参考7月机器学习班)

利用信号的正向传播和误差的逆向传播就可以设计自己的神经网络模型了，激动ing