BP神经网络后向传播算法
来源:互联网 发布:淘宝网高档纱巾 编辑:程序博客网 时间:2024/06/13 02:02
下图显示了三层神经网络的后向传播算法实现过程:
每个神经元有两个单元组成。一个是权重和输入信号。另一个是非线性单元,叫做激励函数。信号e是激励信号。y = f(e) 是非线性单元的输出,即是神经元的输出。
为了训练神经网络,我们需要训练数据。训练数据由输入信号(x1 and x2 )和期望输出z组成。网络的训练过程是一个迭代处理的过程。训练数据集用来在每次迭代过程中更新神经元的权重。每次学习过程由来自训练数据的输入信号开始。我们可以得出每一层的输出。下图说明信号在神经网络的传输路线。w(xm)n 是神经元xm 在第n层输入的连接权重。 yn 表示神经元n的输出。
隐层的信号传播路线如下图所示: wmn 代表输出神经元m和输入神经元n的连接权重。
输出层的信号传导:
在接下来的计算过程中,输出信号y同训练数据集中的期望输出结果z做对比。他们之间的差异用d 表示。
由于这些神经元的输出不知道,所以直接计算损失信号不太可能。很多年前训练多层感知器的有效方法已经被发现了。仅仅后向传播算法被广泛应用。其主要思想是计算损失信号d反向传播所有神经元。
权重系数wmn 用来计算损失信号。神经网络的所有层都按照此过程计算。
当计算每个神经元的损失信号的时候。每个神经元的输入节点权重系数被修改。公式df(e)/de代表每隔神经元激励函数的梯度。
系数h 决定了学习的速率。有一些选择参数的方法。第一种方法是选择较大的值开始网络训练。然而,当权重系数确定之后,参数值急剧减小。第二种方法比较复杂,参数值从较小开始。在学习的过程中,参数值增加,然后在最后阶段再一次减小参数值。用小参数值训练网络能够决定权重系数。
转自:http://blog.csdn.net/yunpiao123456/article/details/52526907
阅读全文
0 0
- BP神经网络后向传播算法
- BP神经网络后向传播算法
- BP神经网络后向传播算法
- Machine Learning6 BP神经网络(后向传播算法)
- BP神经网络后向传播原理
- BP神经网络-前向传播
- 神经网络后向传播算法学习笔记
- 神经网络后向传播
- BP 神经网络 反向传播算法
- 多层前馈神经网络的后向传播算法推导
- Matlab之BP神经网络反向传播算法
- 神经网络 反向传播算法(BP)
- 神经网络的反向传播BP算法
- 神经网络中与BP传播算法
- 神经网络BP反向传播算法Error Backpropagation
- 通俗理解神经网络BP传播算法
- 神经网络及反向传播(bp)算法详解
- 神经网络前向传播算法
- Procute is not mapped [from Procute]
- mysql 在 ubuntu 下学习
- ZooKeeper学习之配置【1】基本配置
- c++获取毫秒级时间 windows
- mysql查询当天、本周、最近xx天、本月 的数据
- BP神经网络后向传播算法
- 8位单片机 16位 32位区别?
- CString 转 char *
- db2表空间是否开启文件系统缓存
- mybatis学习笔记--常见的错误
- jQuery Validate 合法性,限制性校验
- 柱状图r程序示例1
- android 反编译
- 昂达平板电脑怎么进bios设置u盘为第一启动盘?