BP算法(未完)
来源:互联网 发布:怎样练英语发音 知乎 编辑:程序博客网 时间:2024/06/16 13:17
BP算法又叫反向传播算法。听起来好像很玄乎。但其实本质上很简单,它就相当于是一个复合函数链式求导法则。那么为什么它会这么有名气呢?
应用BP算法比传统上naive的思考方法会加速神经网络的计算上千万倍。为什么会出现这样的加速呢?如前述体现在求导数上面,因为现代神经网络的计算大多数都是应用求导数的方法,而且大规模的神经网络节点成千上万,这样的话在针对cost函数进行优化的过程中需要大量对输入参数的求导数运算。
naive的方法是从输入开始一步一步计算直到计算到对输出的影响。这样假设输入参数有100万个的话,就要对网络进行100万次的遍历求导。但是如果用BP算法的话只需要对网络做一次遍历求导。
其实BP算法的设计原理基本上就是动态规划。因为如果采用naive的这种方式的话,在子结构上存在重叠。
那么BP算法这么简单,为什么之前的人们没有想到呢?
因为在神经网络领域里面,或者人们心目中感觉计算机计算导数是一件非常困难的事情。但是事实上计算导数对计算机来说是非常简单的。而且人们当时也并没有认为用求导数的方法可以有很好的效果。
参考文献:http://colah.github.io/posts/2015-08-Backprop/
0 0
- BP算法(未完)
- NN(BP)算法
- BP算法(python)
- KMP算法(未完)
- 排序算法(未完)
- 算法(未完)
- BP神经网络的非线性曲线拟合和预测(未完)
- BP神经网络算法(1)
- BP神经网络算法(2)
- 反向传播算法(BP)
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- BP算法
- asdfghjk
- android studio 2.0 引导页示例
- 8.19 bzoj1001[BeiJing2006]狼抓兔子
- Leetcode 279. Perfect Squares (Medium) (cpp)
- 【用膝盖写代码系列】(1):NOIP2010普及组复赛详解
- BP算法(未完)
- cocoapods的安装和第三方插件管理工具的安装
- CodeForces 13A【暴力】
- codeforces 597C (树状数组+DP)
- Operator运算符重载与Implicit隐式类型转换
- 8.19 bzoj1968[Ahoi2005]COMMON 约数研究
- 华为笔试题1
- 文章标题
- 关于数据库在项目中的应用的反思(1)