梯度下降法,最小二乘法求线性回归
来源:互联网 发布:php继承多个类 编辑:程序博客网 时间:2024/05/22 12:55
一.梯度下降法:
我们假设回归函数为:
,这里x0 = 1.
定义回归函数和实际值之间差的均方和为损失函数:
,m为样本数量
我们的目的是求出使损失函数最小的参数的值。求最小值,对于每个参数,求出梯度并使梯度等于0,此时的即为对于参数来说,损失函数最小。
是包含所有参数的一维向量,我们先初始化一个,在这个值之上,用梯度下降法去求出下一组的值,由于是梯度下降的,所以损失函数的值在下降。当迭代到一定程度,的值趋于稳定,此时的即为要求得的值。
迭代函数如下:
每次迭代,我们用当前的求出求出等式右边的值,并覆盖得到迭代后的值。
这里
二. 随机梯度下降法(stochastic gradient descent)和批梯度下降法(batch gradient descent)
随机梯度下降法和批梯度下降法是对于多样本迭代的两种策略,其中,随机梯度下降法是在每一次迭代中,随机的选择m个样本来求取的值,而批梯度下降法在每次迭代中,需要先求出所有样本的梯度值。相比之下,随机梯度下降法高效。
A. 随机梯度下降法:
Repeat{
for i = 1 to m{
对于每一个j进行操作
}
}
这里的m为随机选择的m个样本。
B. 批梯度下降法:
Repeat 直到收敛{
对于每一个j进行操作
}
这里的m为整个样本数。需要先求出在本次迭代中整个样本关于j的导数和,再计算出,对于大样本,很耗时。
三.最小二乘法
A. 需要用到的公式
首先我们定义为一个m*n矩阵,它在(i,j)上的元素值为。定义n*n的方矩阵A的迹trA为
我们可以证明trABCD = trDABC = trCDAB = trBCDA
同时,下面两个公式也可以证明:
B. 最小二乘法求线性回归
对于m个样本,每个样本的n个特征值可以表示为一维列向量Xi,则m个样本,可以组成样本矩阵m*(n+1),其中的1为常量参数:
这里每一行为一个样本的特征向量;
我们设Y向量为样本特征值对应的目标值,则:
由于,我们可以得到:
到这里,我们需要求X-Y的平方和,假设各个特征之间是相互独立的,则(X-Y)转置*(X-Y)可以得到除了对角线之外都为0的矩阵,而对角线上的值,为X-Y的平方值。于是有:
对矩阵求导的:
令求导函数等于0,此时
于是:
- 梯度下降法,最小二乘法求线性回归
- 梯度下降法,最小二乘法求线性回归
- 梯度下降法,最小二乘法求线性回归
- 线性回归最小二乘法和梯度下降法
- python 分别用梯度下降法和最小二乘法求线性回归
- 线性回归参数估计--最小二乘法与梯度下降法
- 线性回归参数估计--最小二乘法与梯度下降法Python实现
- 线性回归介绍及分别使用最小二乘法和梯度下降法对线性回归C++实现
- 线性回归算法实现(最小二乘法, 梯度下降)
- 线性回归&梯度下降
- 最小二乘法&梯度下降法
- 线性回归及梯度下降法
- 线性回归与梯度下降法
- 线性回归与梯度下降法
- 梯度下降法解多元线性回归
- 梯度下降法解线性回归
- 线性回归——梯度下降法
- 梯度下降法求解线性回归问题
- Coretext用法, 讲得很好。
- If programming languages were vehicles(如果把编程语言当成座驾 )
- The import android.media.audiofx.AcousticEchoCanceler cannot be resolved
- Sublime text 设置Tab为4个空格
- viewpager中图片不能全屏显示的解决方法
- 梯度下降法,最小二乘法求线性回归
- 双数据源开发,相关配置
- [小米2015校招笔试]回文数
- 【九度OJ】1031【模拟】【C实现】【浙大2009】
- android 单元测试
- 运维人员--------经常备份
- BZOJ 3282 Tree Link-Cut-Tree 动态树
- sleep与wait的区别
- (3)document对象续