什么情况下用标准梯度下降法,什么情况下用随机梯度下降法
来源:互联网 发布:数据库第六版中文答案7 编辑:程序博客网 时间:2024/05/17 22:55
如果仅从测试误差出发,标准梯度下降的效果会比随机梯度下降要好。但是标准梯度下降的训练时间会比随机梯度下降要长。像线性回归这种简单的模型,训练时间的优先级不高,所以用标准梯度下降会比随机梯度下降要好。像神经网络这种复杂的模型,训练时间的优先级比较高,所以用随机梯度下降比较好。如果模型的损失函数是凸函数,那么使用标准梯度下降一定能达到全局最优。如果模型比较复杂,容易进入局部最优,那么使用随机梯度下降会发生震荡,容易从局部最优中跳出,进入全局最优。
另外,神经网络模型使用标准梯度下降最重要的原因是神经网络容易过拟合,而不是训练时间。
(请教大神的答案)
0 0
- 什么情况下用标准梯度下降法,什么情况下用随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 随机梯度下降法
- 梯度、梯度下降法、随机梯度下降法
- 梯度、梯度下降法、随机梯度下降法
- DistBelief 框架下的并行随机梯度下降法
- 随机梯度下降法2
- 随机梯度下降法和批量梯度下降法
- 梯度下降法和随机梯度下降法的理解
- 批梯度下降法和随机梯度下降法(SGD)
- 牛顿法,拟牛顿法,梯度下降,随机梯度下降
- java垃圾回收机制(二)
- 图像处理之每日一练:噪声的添加和过滤
- Handler详解
- 2017.2.11【初中部 GDKOI】模拟赛B组题解
- 1112. Stucked Keyboard (20) -- 字符串处理,使用map
- 什么情况下用标准梯度下降法,什么情况下用随机梯度下降法
- 安装JDK,配置环境变量
- java代码规范
- UVA 147 Dollars (子集和问题 & DP)
- 1038. Recover the Smallest Number (30)
- 104. Maximum Depth of Binary Tree | 二叉树的深度
- Struts-setter、getter方法自动 ActionSupport类-属性驱动+模型驱动
- scala循环遍历
- Charles将指定的请求改为固定返回值