随机梯度下降
来源:互联网 发布:sql express 安装失败 编辑:程序博客网 时间:2024/06/01 07:54
随机梯度下降( stochastic gradient descent )
简单的介绍一下什么是随机梯度下降,为什么要用随机梯度下降这个方法。
1.背景
在我们进行深度学习的时候,对于神经网络的输出结果,我们需要知道结果对不对,以及每个神经元的阈值和权重对不对,对于以及我调整一下权重和阈值,神经网络的输出结果和我们预期的输出结果会更接近还是误差更大。如果更接近,那么我们可以继续调整权重和阈值,让神经网络的输出结果等于预期。那么我们如何进行定量的分析呢?不能只依靠感觉,这个时候,我们引入函数
也就是说,我们现在是要求一个函数的最小值,让我们仅仅从数学方面思考,如何求解一个函数的最小值。假设有一个函数
2.梯度下降的思想
我们先假设在求一个二元函数的最小值,它的图像如图所示:
假设我们在这个图像曲面上放置一个小球,它受到重力影响,肯定会往下滑落,而最终停止的地方,就是整个函数的最小值,这个就是梯度下降的大致思想。为了更清楚的说明这个问题, 我们把
3.随机梯度下降
根据前面的介绍,我们已经可以算出最小点在哪里了,但是还有一个问题是,如果网络的输入数据有很多维的话,我们不但要计算每个输入的一阶导数,还要计算每个输入的二阶导数,计算量实在太大。因此,我们可以通过计算一个小样本里的
参考资料:《Neural Networks and Deep Learning》 Michael Nielsen
- 【stanford】梯度、梯度下降,随机梯度下降
- 梯度、梯度下降,随机梯度下降
- 梯度、梯度下降,随机梯度下降
- 梯度、梯度下降,随机梯度下降
- 梯度、梯度下降,随机梯度下降
- 随机梯度下降算法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- SGD(随机梯度下降)
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降
- 随机梯度下降算法
- 标准ie8下,出现滚动条,但是没有滚动块的解决方法
- .Net中Remoting通信机制简单实例
- TextView文本框
- 【转】Laravel 5.1 LTS 速查表
- git应用的几点总结
- 随机梯度下降
- spring 3.2 MVC 406 Not Acceptable 解决方法
- 7.游标
- Android OpenGL10 基本图形绘制 <3>
- react-router 按需加载
- 初识Node
- 初识PHP(1)
- 每日异常
- HDOJ 1003-Max Sum