我来介绍一下"反向传播学习算法"和"梯度下降法"
来源:互联网 发布:四川广电网络公司性质 编辑:程序博客网 时间:2024/05/23 05:07
梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代
能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。
最速下降法的一种简单形式是:x(k+1)=x(k)-a*g(k),其中a称为学习速率,可以是
较小的常数。g(k)是x(k)的梯度。
直观的说,就是在一个有中心的等值线中,从初始值开始,每次沿着垂直等值线方
向移动一个小的距离,最终收敛在中心。
对于某一个性能指数,我们能够运用梯度下降法,使这个指数降到最小。若该
指数为均方误差,我们便得到了最小均方误差(LMS)算法。
BP算法也是要使性能指数-均方误差达到最小,它与LMS算法的差别在于对于权值导数
(即梯度)的计算方式上。
LMS是运用在单层线性网络中的,误差是网络权值的显示线性函数,权值导数可直接
求得。但其只能解决线性可分问题。
BP算法用于有隐藏层的多层网络中,权值和误差的关系比较复杂,需要用到微积分链
法则。该算法可以解决线性不可分问题。
如何使用链法则,是个比较复杂的问题,可以参考《神经网络设计》一书。
- 我来介绍一下"反向传播学习算法"和"梯度下降法"
- 【深度学习】梯度下降和反向传播
- 梯度下降和反向传播
- 梯度下降法和误差反向传播推导
- 神经网络之梯度下降法和反向传播BP
- 梯度下降法与反向传播
- 梯度下降法与反向传播
- 深度学习第三次课-梯度下降与反向传播
- 梯度下降与反向传播详解
- 神经网络——梯度下降&反向传播
- 梯度下降法和反向传导法
- 神经网络算法学习---梯度下降和随机梯度下降
- 激活函数、BP反向传播算法、三种梯度下降、softmax函数及其推导
- 基于时间的反向传播算法和梯度消失 -part3
- 反向传播算法介绍
- 深度学习中的梯度和反向传播过程
- 神经网络之梯度下降与反向传播(上)
- 神经网络之梯度下降与反向传播(下)
- Exploring the Power of Links in Data Mining-韩家炜演讲摘录
- 2008年来了
- 中国大多数企业没认识到搜索的价值
- Statistical Pattern Recognition-A Review (1999)读后感
- [转帖]Java 与 mysql 中文问题的处理
- 我来介绍一下"反向传播学习算法"和"梯度下降法"
- Huaiqing Wang的讲座:How to write and publish quality research papers
- 最近看的书,想看的书
- 我电脑中乱七八糟的TXT文件
- Paper摘记-Large Margin Nearest Neighbor Classifiers
- 2007十大被低估IT新闻:Java已经成为新Cobol
- j2me学习笔记
- 书评-Machine Learning(机器学习)
- 风格模版好友站