梯度下降原理
来源:互联网 发布:sql server 实例名 编辑:程序博客网 时间:2024/06/14 22:17
版权声明:本文为原创文章:http://blog.csdn.net/programmer_wei/article/details/51941358
梯度下降算法是一个很基本的算法,在机器学习和优化中有着非常重要的作用,本文首先介绍了梯度下降的基本概念,然后使用python实现了一个基本的梯度下降算法。梯度下降有很多的变种,本文只介绍最基础的梯度下降,也就是批梯度下降。
实际应用例子就不详细说了,网上关于梯度下降的应用例子很多,最多的就是NG课上的预测房价例子:
假设有一个房屋销售的数据如下:
面积(m^2) 销售价钱(万元)
根据上面的房价我们可以做这样一个图:
于是我们的目标就是去拟合这个图,使得新的样本数据进来以后我们可以方便进行预测:
对于最基本的线性回归问题,公式如下:
x是自变量,比如说房子面积。θ是权重参数,也就是我们需要去梯度下降求解的具体值。
在这儿,我们需要引入损失函数(Loss function 或者叫 cost function),目的是为了在梯度下降时用来衡量我们更新后的参数是否是向着正确的方向前进,如图损失函数(m表示训练集样本数量):
下图直观显示了我们梯度下降的方向,就是希望从最高处一直下降到最低出:
梯度下降更新权重参数的过程中我们需要对损失函数求偏导数:
求完偏导数以后就可以进行参数更新了:
伪代码如图所示:
阅读全文
0 0
- 随机梯度下降原理
- 梯度下降原理
- 梯度下降原理
- 梯度下降原理及Python实现
- 梯度下降原理及Python实现
- 神经网络中梯度下降算法原理
- 对梯度下降原理的理解
- 梯度下降原理及Python实现
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 梯度下降
- 利用Django实现一个博客(附全部源码)
- java中&和&&,|和||的区别
- 强类型,弱类型,动态类型,静态类型
- erp项目
- highcharts 图表中的“highcharts.com.cn”标签隐藏
- 梯度下降原理
- keybd_event使用方法
- No resource found that matches the given name: attr 'android:keyboardNavigationCluster'
- Git
- javascript闭包详解
- JSP实现嵌入富文本编辑器UEditor的配置
- 51单片机程序存储器和数据存储器
- linux下用脚本命令编译android应用
- 12-12作业