梯度下降法的数学推导
来源:互联网 发布:什么是云计算和大数据 编辑:程序博客网 时间:2024/04/28 05:38
第一次接触梯度下降法是从Andrew Ng的机器学习课程上,当时看到这个公式有点疑惑,为什么这样迭代几次最后就能收敛到局部极值呢?
其中,α称为学习率,是一个能自己设定的常数,通常很小,下面还会讲到;θ是各个参数的权重(是一个向量),因为我们的目标是确定一个θ向量使得下式得到最小值:
这个问题的来源可以参看这个博客(http://blog.csdn.net/abcjennifer/article/details/7691571)
这个地方我当时还疑惑:直接求导让导数为“0”不就能取得极值么?学到后面发现思想是对的,实际是不可行的,比如有时候求解这样的方程组非常复杂.
回到最开始的问题,为什么用梯度下降法能收敛到极值呢?
引用文献
- Stanford机局部优化算法之一: 梯度下降法器学习—第一讲. http://blog.csdn.net/abcjennifer/article/details/7691571
- 梯度下降法 http://blog.csdn.net/woxincd/article/details/7040944
- 局部优化算法 李金屏
0 0
- 梯度下降法的数学推导
- 机器学习之梯度下降法数学推导--回归
- 机器学习之梯度下降法数学推导--分类
- 梯度下降法推导总结
- 四元数姿态的梯度下降法推导和解读
- 逻辑回归梯度下降法的推导过程
- 四元数姿态的梯度下降法推导和解读
- 1.线性回归的推导--梯度下降法
- 休闲数学-梯度下降法
- 梯度下降的矩阵分解公式推导
- 梯度下降和牛顿法的数学解释
- 简析梯度下降法的数学原理
- 梯度下降法和误差反向传播推导
- 逻辑斯蒂回归梯度下降法推导
- 梯度下降法和梯度的关系
- 梯度下降法和随机梯度下降法的理解
- 梯度下降法和随机梯度下降法的区别
- 梯度下降法和随机梯度下降法的区别
- java字符串的各种编码转换
- 黑马程序员 —— Java基础
- 卡尔曼滤波器 – Kalman Filter
- 时间戳问题汇总
- ini_set改变upload_tmp_dir的问题
- 梯度下降法的数学推导
- 黑马程序员——java_(内省,javaBean,动态代理)
- afn2.0同步和异步 及读取json格式
- oracle修改8080端口号到8001
- 【为什么我的JVM能实际使用的内存比-Xmx指定的少?】
- J2EE事务并发控制策略总结
- 安星财富网P2P理财,为你我梦想“带盐”
- 智慧城市: 整体解决方案
- 动画模块设计