神经网络二:浅谈反向传播算法(backpropagation algorithm)为什么会很快
来源:互联网 发布:外贸数据 编辑:程序博客网 时间:2024/05/16 05:06
在上一个博客神经网络一:介绍,示例,代码 中,介绍了神经网络的基本算法Backpropagation Algorithm,该算法有很多优点,具体的可自行查阅其他资料或博客,本文主要针对Backpropagation Algorithm中运行速度快的特点进行浅谈。
假设我们有一个固定样本集 ,它包含 个样例。具体来讲,对于单个样例 ,其代价函数为:
- 我们最后用得到 ,最后计算出。为什么我们不能直接根据偏导公式
- 来直接计算呢?下面进行分析。
- 如果用直接计算的话,为了求:
- 用微积分的乘法法则:把代价函数J(W,b;x,y)只当做是权重W(或偏向值b)的函数,于是定义:
- ,(ε>0且ε->0)。根据这个公式也能求出权重的偏导,但到具体计算时,假设神经网络有1百万个权重需要更新,则对于每一个权重w,都需要通过遍历一次神经网络模型来更新,1百万个权重的话就要遍历1百万次!
- 而这只是针对一个训练集数据而言,数据更多的话需要花费更多的计算量来更新每一个权重。
- 而用Backpropagation Algorithm的优势就在于,只需要一正一反遍历两次就可以把所有的偏导计算出来。相比于直接算偏导,就是2:1000000的计算比例。具体的Backpropagation Algorithm可参见上一个博客。
0 0
- 神经网络二:浅谈反向传播算法(backpropagation algorithm)为什么会很快
- 神经网络和深度学习(二)——BP(Backpropagation Algorithm, 反向传播算法)
- 神经网络和深度学习(二)——BP(Backpropagation Algorithm, 反向传播算法)
- 9-2 backpropagation algorithm 反向传播算法
- 神经网络BP反向传播算法Error Backpropagation
- 神经网络的反向传播算法Backpropagation
- backpropagation反向传播算法
- 反向传播算法(BackPropagation,BP)
- 如何理解反向传播算法(backpropagation)
- 理解反向传播(BackPropagation)算法(之一)
- 深入浅出BP(BackPropagation)反向传播算法
- 反向传播(backpropagation)算法的多层神经网络训练过程
- 【机器学习】神经网络(二)——反向传播算法
- 深度学习笔记三:反向传播(backpropagation)算法
- BP反向传播算法是如何工作的How the backpropagation algorithm works
- 反向传播算法(backPropagation,简称BP算法)
- 神经网络-反向传播算法
- 神经网络反向传播算法
- Webkit样式库
- android native service编写及两个服务进程通讯
- mob官网中sharedsdk短信验证
- 火星坐标和正常坐标之间的转换
- 【2016.10.25导航】鼠标经过导航出现副导航的js
- 神经网络二:浅谈反向传播算法(backpropagation algorithm)为什么会很快
- 什么是DCI? 它有什么用?
- zabbix+微信+短信+邮件+客户端告警机制:安装包方式和源码安装
- 在 2016 年学 Android 是一种什么样的体验?
- android事件分发全测试
- java连接mysql
- CCF 201312-3 最大的矩形
- 第8周拓展实践 3.换分币
- 穷举法和回溯法解n皇后问题